融合全模态自编码器和生成对抗机制的跨模态检索

作     者：赵鹏 马泰宇 李毅 刘慧婷 Zhao Peng;Ma Taiyu;Li Yi;Liu Huiting

作者机构：安徽大学计算智能与信号处理教育部重点实验室合肥230601 安徽大学计算机科学与技术学院合肥230601 

基　　金：国家自然科学基金(61602004) 安徽省高校自然科学研究重点项目(KJ2018A0013,KJ2020A0041) 安徽省自然科学基金(2108085MF212,2008085MF219,1908085MF188) 安徽省重点研究与开发计划(1804d08020309) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2021年第33卷第10期

页      码：1486-1494页

摘      要：针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8%,1.4%和1.1%,证明了所提方法的有效性.

主 题 词：全模态自编码器 生成对抗网络 跨模态检索 

学科分类：0710[理学-生物科学类] 1205[管理学-图书情报与档案管理类] 08[工学] 080203[080203] 0802[工学-机械学] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3724/SP.J.1089.2021.18757

馆 藏 号：203105762...