摘要：为了减小图像语义检索过程中"语义鸿沟"的影响,提出融合主题和视觉语义的图像自动标注方法.该方法先在训练集的文本空间中用概率潜在语义分析(PLSA)模型拟合出主题集合;然后根据图像的高维视觉特征建立主题集合中每个主题的高斯混合模型(GMM),以准确描述其视觉语义信息,减小了"语义鸿沟",提高了图像自动标注的准确性.在Corel数据集上进行了对比实验的结果表明,文中方法在标注的平均标准率和平均标全率上都表现良好,证明了其有效性.

摘要：由于语义鸿沟的存在,图像自动标注已成为一个重要课题.在概率潜语义分析的基础上,提出了一种融合语义主题的方法以进行图像的标注和检索.首先,为了更准确地建模训练数据,将每幅图像的视觉特征表示为一个视觉"词袋";然后设计一个概率模型分别从视觉模态和文本模态中捕获潜在语义主题,并提出一种自适应的不对称学习方法融合两种语义主题.对于每个图像文档,它在各个模态上的主题分布通过加权进行融合,而权值由该文档的视觉词分布的熵值来确定.于是,融合之后的概率模型适当地关联了视觉模态和文本模态的信息,因此能够很好地预测未知图像的语义标注.在一个通用的Corel图像数据集上,将提出的方法与几种前沿的图像标注方法进行了比较.实验结果表明,该方法具有更好的标注和检索性能.

摘要：互联网时代图像及视频数据流量爆发式增长,包含着海量的信息内容,如何高效的管理和利用图像数据获得了越来越多的关注。论文提出一种基于结合自注意力(Transformer)和生成式对抗网络的图像自动标注模型,通过设计的视觉注意力生成器建立图像到标注词汇的映射关系,同时引入生成式对抗训练提高生成器的生成效果。在Corel 5K和IAPRTC-12两个数据集上的实验表明,该方法能够针对不同图像产生自适应数目的标签,且生成结果更具多样性。

摘要：针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法(MSC)相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法(DCSC/DCGSC)相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。

摘要：为了弥补图像低层视觉特征和高层语义之间的"语义鸿沟",改善图像自动标注的性能,提出了基于多媒体描述接口(MPEG-7)和MM(Mixture Model)混合模型的图像标注算法。该算法采用MPEG-7标准推荐的颜色和纹理描述子提取图像的低层视觉特征,通过MM混合模型建立低层特征到高层语义空间的映射,实现了基于图像整体低层特征的多标签图像自动标注。通过在corel图像数据集上的一系列实验测试验证了该方法的可行性和有效性。

摘要：提出一种基于感兴趣区域(ROI)的图像自动标注算法.首先利用JPEG 2000中的Maxshift算法提取出图像的感兴趣区域,建立感兴趣图像库;之后对图像库中的图像利用SIFT算法提取图像的特征向量;并利用支持向量机对图像进行标注;最后应用Corel图像数据库进行自动标注仿真试验,结果表明,所设计算法有较好的效果.

摘要：针对图像检索中存在的"语义鸿沟"问题,提出一种对连续视觉特征直接建模的图像自动标注方法.首先对概率潜语义分析(PLSA)模型进行改进,使之能处理连续量,并推导对应的期望最大化算法来确定模型参数;然后根据不同模态数据各自的特点,提出一个对不同模态数据分别处理的图像语义标注模型,该模型使用连续PLSA建模视觉特征,使用标准PLSA建模文本关键词,并通过不对称的学习方法学习2种模态之间的关联,从而能较好地对未知图像进行标注.通过在一个包含5000幅图像的标准Corel数据集中进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.

摘要：多标签图像标注在根据模型预测的概率,利用排名函数进行标注时会出现多标或少标的问题,提出了融合阈值寻优的卷积神经网络(CNN-THOP)模型,该模型由卷积神经网络(CNN)和阈值寻优构成。首先,通过CNN训练模型,利用该模型对图片进行预测,得到预测概率,其中在CNN中增加了批标准化层(BN)有效地加快了收敛。其次,利用该模型对测试集图片的预测概率进行阈值寻优,经过阈值寻优过程为每类标签得到一个最佳阈值,从而得到一组最佳阈值,只有当该类标签的预测概率大于等于该类标签的最佳阈值时,才会给图片标注该标签。在标注过程中,通过载入CNN模型和一组最佳阈值可以对所需标注的图像进行更加灵活的多标签标注。通过在自然场景图像数据集8000张图片上的验证,结果表明,CNN-THOP较传统的基于排名的支持向量机法(Rank-SVM)在平均查准率上提升了约20个百分点,较基于均方误差函数的卷积神经网络(CNN-MSE)在平均召回率和F1值上分别提高了约6个百分点和4个百分点,且完全匹配度(CMD)达到了64.75%,验证了该方法在图像自动标注方面的有效性。

摘要：针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法。在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能。实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率。

摘要：针对语义鸿沟问题,在语义学习的基础上设计图像的多模态检索系统。该系统结合3种查询方式进行图像检索。基于视觉特征的查询通过特征提取与相似度匹配进行排位。基于标签的查询建立在图像自动标注的基础上,但在语义空间之外的泛化能力较差。基于语义图例的查询能够在很大程度上克服这个缺陷,通过在显式或隐式的语义空间上进行查询,使检索结果更符合人类感知。实验结果表明,与基于纹理特征的图像检索相比,基于语义图例的检索具有更高的精度及召回率。