基于视觉注意力的图文跨模态情感分析

作     者：王法玉 郝攀征 WANG Fa-yu;HAO Pan-zheng

作者机构：天津理工大学智能计算及软件新技术天津市重点实验室天津300384 

基　　金：天津市自然科学基金重点基金项目(18JCZDJC96800) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第2期

页      码：601-607页

摘      要：针对单模态情感分析无法完全捕获情感信息的问题,提出一种图像和文本跨模态情感分析模型(BERT-VistaNet),该模型没有直接使用视觉信息作为特征,而是利用视觉信息作为对齐方式,使用注意力机制指出文本中重要的句子,得到基于视觉注意力的文档表示。对于视觉注意力无法完全覆盖的文本内容,使用BERT模型对文本进行情感分析,得到基于文本的文档表示,将特征进行融合应用于情感分类任务。在Yelp公开餐厅数据集上,该模型相比基线模型TFN-aVGG,准确率提高了43%,相比VistaNet模型准确率提高了1.4%。

主 题 词：情感分析 视觉注意力机制 跨模态 深度学习 特征融合 预训练模型 双向门控单元 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2024.02.036

馆 藏 号：203126024...