基于多模态知识图谱的中文跨模态实体对齐方法

作     者：王欢 宋丽娟 杜方 WANG Huan;SONG Lijuan;DU Fang

作者机构：宁夏大学信息工程学院银川750021 宁夏大数据与人工智能省部共建协同创新中心银川750021 

基　　金：国家自然科学基金(62062058) 宁夏回族自治区重点研发计划(2021BEE03013) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2023年第49卷第12期

页      码：88-95页

摘      要：多模态数据间交互式任务的出现对综合利用不同模态的知识提出了较高的要求,因此多模态知识图谱应运而生。在多模态知识图谱的构建过程中图像与文本实体是否指代同一对象尤为重要,这要求对中文跨模态实体进行实体对齐。针对该问题,提出一种基于多模态知识图谱的中文跨模态实体对齐方法。将图像信息引入实体对齐任务,面向领域细粒度图像和中文文本,设计单双流交互预训练语言模型(CCMEA)。基于自监督学习方法,利用视觉和文本编码器提取视觉和文本特征,并通过交叉编码器进行精细建模,最终采用对比学习方法计算图像和文本实体的匹配度。实验结果表明,在MUGE和Flickr30k-CN数据集上,CCMEA模型的平均召回率(MR)相比于WukongViT-B基线模型分别提升了3.20和11.96个百分点,并在自建的TEXTILE数据集上MR达到94.3%。上述实验结果证明了该方法可以有效对齐中文跨模态实体,并且具有较高的准确性和实用性。

主 题 词：多模态 知识图谱 实体对齐 自监督 纺织行业 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19678/j.issn.1000-3428.0066938

馆 藏 号：203125179...