基于注意力网络推理图的细粒度图像分类

作     者：郑智文 甘健侯 周菊香 欧阳昭相 鹿泽光 ZHENG Zhiwen;GAN Jianhou;ZHOU Juxiang;OUYANG Zhaoxiang;LU Zeguang

作者机构：云南师范大学民族教育信息化教育部重点实验室云南昆明650500 云南师范大学云南省智慧教育重点实验室云南昆明650500 德宏师范高等专科学校信息学院云南德宏678400 中科国鼎数据科学研究院北京100010 

基　　金：国家自然科学基金(No.62166050)资助 

出 版 物：《应用科学学报》 (Journal of Applied Sciences)

年 卷 期：2022年第40卷第1期

页      码：36-46页

摘      要：针对场景图像的细粒度分类任务,结合图像视觉和文本的多模态信息提出了一种基于注意力网络推理图的细粒度图像分类方法。首先提取场景图像的全局视觉特征、局部视觉特征和文本特征,把位置信息分别嵌入局部视觉特征和文本特征后拼接成新的特征,再将这个新的特征作为图结构的节点生成一个异构图;然后设计两条元路径将异构图分解成两个同构图,并将其分别放入设计有节点级注意和语义级注意的两级注意力网络推理图;最后将输出的节点特征与全局视觉特征进行多模态融合操作,获得更丰富的细粒度特征表达。所提出的模型实现了多模态融合与图注意力网络的有效结合,且在Con-Text和Drink Bottle两个场景文本细粒度图像数据集上与目前主流先进方法相比具有较强的竞争力。

主 题 词：场景图像 多模态 图注意力网络 节点级注意力 语义级注意力 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.3969/j.issn.0255-8297.2022.01.004

馆 藏 号：203107241...