基于视觉与文本语义增强的多模态命名实体识别方法

作     者：满芳滕 朱艳辉 张志轩 应旭剑 陈豪 MAN Fangteng;ZHU Yanhui;ZHANG Zhixuan;YING Xujian;CHEN Hao

作者机构：湖南工业大学计算机学院湖南株洲412007 湖南工业大学轨道交通学院湖南株洲412007 

基　　金：国家自然科学基金资助项目(52272347) 湖南省教育厅科学研究基金资助重点项目(22A0408) 

出 版 物：《湖南工业大学学报》 (Journal of Hunan University of Technology)

年 卷 期：2025年第39卷第1期

页      码：64-71页

摘      要：为了解决视觉特征和文本特征融合后存在部分语义缺失从而导致视觉信息对文本信息的补充有较大偏差的问题,提出了一种基于视觉与文本语义增强的多模态命名实体识别方法。融合BERT文本特征提取和CLIP(contrastive language–image pre-training)视觉特征提取方法,设计了基于协同交叉注意力机制的特征交互单元,以增强视觉信息和文本信息之间的语义关系。CLIP通过对比学习框架进行预训练,优化模型以正确匹配视觉和对应的文本描述,最大化正样本(匹配的视觉-文本对)的相似性,同时最小化负样本(不匹配的视觉-文本对)的相似性。采用通用领域数据集TWITTER-2015和TWITTER-2017作为实验数据集。实验结果表明,本模型相比传统方法在多模态命名实体识别任务中的准确率、召回率、F1值均有显著提升。

主 题 词：多模态 命名实体识别 特征融合 语义增强 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-9833.2025.01.009

馆 藏 号：203148032...