基于图像识别的跨模态实体链接模型

作     者：陈烨 周刚 章梦礼 朱秀宝 黄宁博 Chen Ye;Zhou Gang;Zhang Mengli;Zhu Xiubao;Huang Ningbo

作者机构：信息工程大学数据与目标工程学院郑州450001 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2022年第39卷第5期

页      码：1422-1426,1431页

摘      要：提出了一个基于图像识别的跨模态实体链接模型。首先,利用人机交互的图像目标截取模块实现图像目标指代,支持多目标图像的输入,将复杂的目标检测任务简化为图像识别分类任务。然后,设计了一个基于轻量快速的MobileNetV2网络训练的图像识别模块,在自建目标图像数据集环境下进行测试。实验结果验证了该模型能够减小模型规模,降低对硬件的要求,通过有监督的数据增强,在少样本训练条件下达到了94.06%的识别准确度,缓解了数据缺乏的问题。最后,进一步借助模型输出的目标实体命名标签,完成跨模态实体链接任务,能够有效支撑图像输入条件下的知识图谱问答任务。

主 题 词：知识图谱 图像识别 跨模态 实体链接 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19734/j.issn.1001-3695.2021.11.0464

馆 藏 号：203111479...