基于图卷积网络的视觉问答研究

作     者：龚安 丁磊 姚鑫杰 GONG An;DING Lei;YAO Xinjie

作者机构：中国石油大学(华东)青岛266580 

基　　金：国家油气重大专项(编号:2017ZX05013-001)资助 

出 版 物：《计算机与数字工程》 (Computer & Digital Engineering)

年 卷 期：2022年第50卷第1期

页      码：135-139页

摘      要：随着计算机视觉和自然语言处理的日益发展,视觉问答也发展为计算机科学领域的一个重要研究方向。视觉问答需要跨模态的理解与推理能力(图像与文本)。由于图中节点和边的高度相关性以及图本身的联通性,图在提高视觉问答模型的推理能力上有一定的潜力,因此提出了一种基于图卷积网络的视觉问答方法。首先使用神经网络分别提取图像和文本特征,再用图处理模块将预处理后图像和文本处理为图结构数据,然后实现基于图卷积网络的模型设计,数据训练与答案预测。通过与ReasonNet和BottomUp等模型在VQA2.0数据集上进行对比实验,验证了该方法提升了视觉问答任务的准确率。

主 题 词：视觉问答 图卷积网络 计算机视觉 自然语言处理 词向量 

学科分类：080902[080902] 0809[工学-计算机类] 08[工学] 

D　O　I：10.3969/j.issn.1672-9722.2022.01.026

馆 藏 号：203107174...