基于对象关系网状转换器的图像描述模型

作     者：李雅红 周海英 徐少伟 LI Yahong;ZHOU Haiying;XU Shaowei

作者机构：中北大学大数据学院太原030051 

基　　金：国家自然科学基金(61672473) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2021年第47卷第5期

页      码：197-204页

摘      要：针对图像描述生成模型缺乏空间关系信息且图像特征利用不充分的问题,结合对象关系网状转换器,提出一种改进的图像描述模型。利用Faster R-CNN提取图像的外观和边界框特征,并将提取的特征输入到改进的转换器中经过编解码生成图像描述。通过将对象外观和边界框特征合并为关系特征的方式对编码器自我注意力层的注意力权值进行改进,以强化目标间的关联性。将编码器和解码器的连接设计为网状结构,从而充分利用图像特征。实验结果表明,与基于单一注意力的Top-down基线模型相比,该模型的BLUE@1和CIDEr评价指标值分别提高了7.6和3.7个百分点,显著提升了描述语句的准确性。

主 题 词：图像描述模型 注意力机制 编码器和解码器 对象关系 网状转换器 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.19678/j.issn.1000-3428.0059517

馆 藏 号：203103175...