摘要：深度学习模型严重依赖于大量人工标注的数据,使得其在数据缺乏的特殊领域内应用严重受限。面对数据缺乏等现实挑战,很多学者针对数据依赖小的弱监督学习方法开展研究,出现了小样本学习、零样本学习等典型研究方向。对此,本文主要介绍了弱监督学习方法条件下的小样本学习和零样本学习,包括问题定义、当前主流方法以及实验设计方案,并对典型模型的分类性能进行对比。然后,给出零-小样本学习的问题描述,总结研究现状和实验设计,并对比典型方法的性能。最后,基于当前研究中出现的问题对未来研究方向进行展望,包括多种弱监督学习方法的融合与理论基础的探究,以及在其他领域的应用。

摘要：相干斑滤波是合成孔径雷达(Synthetic aperture radar,SAR)图像解译重要的预处理步骤。近年来,基于卷积神经网络(Convolutional neural network,CNN)的相干斑滤波方法得到了快速的发展。然而,基于监督学习的滤波方法缺乏无相干斑参考SAR图像作为真值,基于自监督学习的滤波方法大多需要同一场景的多时相SAR图像训练网络,但是这些额外的数据集在实际场景中较难获取。此外,自监督学习方法通常需要较大的训练数据集和较深的网络进行相干斑滤波,导致其计算复杂度较高。因此,本文提出了一种基于零样本学习的单张SAR图像相干斑滤波方法。该方法的核心思想是对待测试的单张SAR图像进行子视分解,选取与待测试SAR图像欧式距离最近的子视图像进行配对,理论上证明了使用配对的子视图像自监督训练网络能达到使用无相干斑参考SAR图像监督训练网络的滤波效果。因此,通过设计自监督损失函数快速训练轻量化相干斑滤波网络,将训练好的网络对待测试SAR图像进行滤波。相较于基于监督学习和自监督学习的相干斑滤波方法,本文所提方法不需要无相干斑参考或多时相SAR图像用于模型训练,也不需要额外训练数据,只需使用任意一个轻量化的CNN即可实现相干斑滤波。在Radarsat-2和ALOS-2实测数据上的实验结果表明,本文所提方法的参数量比对比方法低22倍,能更好的实现对匀质区域相干斑的抑制和图像细节的保护。

摘要：为同时缓解零样本学习算法中固有的枢纽问题和域漂移问题,提出一种基于语义对齐和重构的零样本学习算法。以语义特征嵌入到图像空间的神经网络映射模型为基础,对模型添加语义原型和图像原型对齐的约束条件进一步缓解高维向量枢纽问题对标签预测的影响;对模型添加语义特征重构建的约束条件,缓解域漂移问题对识别正确率的影响。实验结果表明,所提算法在AwA和CUB数据集上达到了较优的识别正确率,验证了其有效性。

摘要：提出一种基于属性相关性的零样本学习(zero-shot learning,ZSL)方法。为了充分利用语义属性信息的内在关系,分别设计了基于均方误差(mean square error,MSE)的排名损失项和属性相关性损失项。排名损失项要求模型预测的视觉属性向量在所有类别属性向量中最靠近其真实类别,以学习到具有区分性的属性表示;属性相关性损失项使模型避免在可见类别样本上过拟合以提高模型在ZSL和广义零样本学习(generalized zero-shot learning,GZSL)任务上的泛化性能。在4个零样本学习基准数据集上进行了实验,验证了所提方法的有效性。

摘要：零样本学习(ZSL)是一种特殊的机器学习问题,目的是在测试阶段识别出训练集中未曾出现的类别样本并进行分类。目前主流技术手段有两种:一种是基于属性学习,一种是基于词嵌入模型。两种方法各有优缺点。属性学习可以看作人工特征标记,分类效果往往取决于人工设定的属性好坏。而利用文本特征(词向量)的词嵌入模型无需人为参与也可得到不错的特征以替代属性。文中提出了一种基于公共空间嵌入的深度零样本学习方法。通过图像和文本分别建立深度神经网络并连接两个网络,在顶层学习一个联合嵌入的公共空间。基于深度学习端到端模型的设计可以同时利用属性特征和文本特征实现图像的零样本学习。实验结果表明,该方法达到了较好的识别效果。

摘要：零样本动作识别旨在从已知类别的动作样本数据中学习知识,并将其迁移到未知的动作类别上,从而实现对未知动作样本的识别和分类.现有的零样本动作识别模型依赖有限的训练数据,可学习到的先验知识有限,难以将视觉特征准确地映射到语义标签上,是限制零样本学习性能提升的关键因素.针对上述问题,本文提出了一种引入外部知识数据库和CLIP模型的零样本学习框架,利用多模态CLIP模型通过自监督对比学习方式积累的知识,来扩充零样本动作识别模型的先验知识.同时,设计了时序编码器,以弥补CLIP模型时序建模能力的欠缺.为了使模型学习到更丰富的语义特征,缩小视觉特征和语义标签之间的语义鸿沟,本文扩展了已知动作类别的语义标签,用更为详细的描述语句代替简单的文本标签,丰富了文本表示的语义信息;在此基础上,在模型外部构建了一个知识数据库,在不增加模型参数规模的条件下为模型提供额外的辅助信息,强化视觉特征与文本特征表示之间的关联关系.最后,本文遵循零样本学习规范,对模型进行微调,使其适应零样本动作识别任务,提高了模型的泛化能力.所提方法在HMDB51和UCF101两个主流数据集上进行了广泛实验,实验数据表明,该方法的识别性能相比目前的先进方法在上述两个数据集上分别提升了3.8%和2.3%,充分体现了所提方法的有效性.

摘要：现有的谣言检测模型通常依赖大规模人工标注的谣言数据集,标注成本高且谣言特征来源于已被辟谣的谣言.为了提高模型对未知谣言的检测能力,提出面向不同对象的谣言检测方法.基于零样本学习,将谣言数据集按照不同的对象划分为样本与内容互不重叠的多个数据集,从而实现零样本对象谣言检测任务;为了表征对象之间的关系构建通义掩码特征,从而设计区分通义掩码特征的代理任务;为了减少数据增强带来的噪声,引入面向对象的信息辅助文本作为特征,并将其与原语义向量进行线性变换.在此基础上,提出面向零样本对象谣言检测的基于代理任务的分层对比学习模型(ZPTHCL),可以通过迁移学习进行谣言检测.在一个基于对象的零样本谣言数据集和Ma-Weibo、Weibo20、Twitter15、Twitter16这4个公开数据集上进行实验,结果表明所提出的对比学习零样本对象谣言检测模型性能更优.

摘要：目前已有大量方案解决零样本图像分类问题,但对多标记零样本图像分类问题的研究很少,在现有的解决方案中,模型在训练时除了利用已标注的数据集和给定的先验知识外,只利用图像区域信息或只利用标签语义信息。基于深度互学习技术,提出一种能同时利用图像区域和标签语义两种信息的解决方法。设计两个子网络,将子网络1用于增强图像视觉特征,通过多头自注意机制关联图像中不同区域的特征信息,得到基于区域的视觉特征表示,再将该特征表示映射到语义空间中,并输出预测概率分布;使子网络2用于融合标签语义信息与图像视觉特征,通过计算标签和图像区域特征的相关性,得到基于语义的视觉特征表示,将特征表示映射到语义空间中输出概率分布。最后引入深度互学习技术,利用两个子网络得到的概率分布为对方提供训练经验以进行互相学习,该过程中子网络在训练自身分类性能的同时也学习对方的训练经验,有效提升多标记零样本图像分类的性能。实验结果表明,所提方法在MS COCO数据集上的F1值相比Deep0Tag方法提升了5.2个百分点。

摘要：基于零样本学习的三维模型分类是三维视觉领域的一个新兴话题,旨在对未经训练的三维模型进行正确分类.针对零样本三维模型分类中存在重视全局而忽视局部,强制约束而无视语义-视觉跨域差异性,导致整体性能低下的问题,提出一种判别性特征引导的零样本三维模型分类算法.首先,以三维模型的多视图表征为输入,自适应地捕获三维模型的局部判别性特征,获得具有良好语义对应性的视觉特征表示;其次,以词向量的形式引入类的语义表示,结合条件生成对抗网络生成类的伪视觉特征;最后,提出语义判别损失和内容感知损失联合监督,从语义到内容共同约束真实视觉特征和伪视觉特征的对齐,鼓励模型学习具有高局部判别性的特征,实现语义-视觉的跨域细粒度对齐.在ZS3D数据集上达到了60.9%的Top-1准确率,超越当前最好方法2.3个百分点,同时在Ali数据集的3个子数据集上也分别取得31.9%,9.9%和16.6%的准确率,均达到了较好的实验效果,验证了该算法的有效性和普适性.

摘要：针对低光照条件下拍摄图像质量低下的问题,该文提出一种基于双重迭代的零样本低照度图像增强方法。其外层迭代通过卷积神经网络估计增强参数,再由内层迭代进行图像增强,增强结果进一步用于计算损失函数并反馈更新外层的参数估计网络,最终通过多轮迭代生成高质量的图像。在该框架下,还设计了多尺度增强系数估计模块、基于注意力的像素级大气光估计模块,并提出了基于亮度对比度、大气光、颜色均衡以及图像平滑性先验的无监督损失函数。大量实验结果表明,该方法可有效将低光照图像增强为高质量的清晰图像,其性能优于现有的同类方法。同时该方法基于零样本学习,不需任何训练数据集,具有良好的普适性。