利用多重相似度矩阵增强跨模态哈希检索

作     者：李志欣 侯传文 谢秀敏 Li Zhixin;Hou Chuanwen;Xie Xiumin

作者机构：广西师范大学广西多源信息挖掘与安全重点实验室桂林541004 

基　　金：国家自然科学基金(61966004,61866004) 广西自然科学基金(2019GXNSFDA245018) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第6期

页      码：933-945页

摘      要：为进一步提升跨模态检索的性能,提出融合多级相似度信息的跨模态哈希检索方法.首先,利用自注意力的方法增强文本特征,并基于不同模态的原始特征和哈希特征构造新的融合特征;然后,在这3种特征的基础上,构造出3个辅助相似度矩阵,并采用加权组合的方法构造出第4个辅助相似度矩阵;最后,通过这4个不同的矩阵分别计算不同相似度矩阵之间和不同模态之间的损失函数.这4个不同的矩阵既包括不同的特征形式,也包括不同的矩阵构造方式,因而能更好地表达不同模态的相似度信息,并提升检索性能.在Wikipedia,MIRFlickr和NUS-WIDE 3个基准数据集上的实验结果表明,所提方法在不同码位的mAP值优于许多当前国际先进的方法,具有良好的有效性和鲁棒性.

主 题 词：跨模态检索 多重相似度矩阵 无监督学习 卷积神经网络 自注意力机制 

学科分类：1205[管理学-图书情报与档案管理类] 08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2022.19044

馆 藏 号：203112398...