基于文档顺序与多模态模型的金融票据信息抽取

作     者：覃俊 林宇亭 刘晶 叶正 刘洲 QIN Jun;LIN Yuting;LIU Jing;YE Zheng;LIU Zhou

作者机构：中南民族大学计算机科学学院武汉430074 湖北省制造企业智能管理工程技术研究中心武汉430074 农业区块链与智能管理湖北省工程研究中心武汉430074 

基　　金：国家民委中青年英才培养计划(编号:MZR20007) 新疆维吾尔自治区区域协同创新专项(科技援疆计划)(编号:2022E02035) 湖北省中医药管理局中医药科研项目(编号:ZY2023M064)资助 

出 版 物：《计算机与数字工程》 (Computer & Digital Engineering)

年 卷 期：2024年第52卷第1期

页      码：23-27,80页

摘      要：目前的文档信息抽取方法大多针对简单的文档,在抽取包含背景干扰和结构复杂的金融票据时效果不佳。针对复杂金融票据中实体关系难以正确匹配的问题,提出了顺序重构方法和LayoutLMv3-GRU信息抽取模型。构建背景复杂的金融票据数据集,利用文本、布局和图像三个模态进行信息抽取。利用Layout-Parser工具,设计排序模块,使文本信息按照上下文关系排序,并把空间距离较远且逻辑关系较近的单词进行重新的排列组合。通过结合改进的LayoutLMv3模型与GRU网络,使模型的准确率进一步提升。并在公共数据集FUNSD与自建的复杂金融数据集进行实验。结果表明,该方法的F1值比LayoutLM3模型提升2.37%。尤其在自建的复杂金融数据集上,模型F1值达到了88.36%,验证了该方法在抽取复杂票据信息时的优越性与处理各种文档时的通用性。

主 题 词：金融票据 信息抽取 多模态 LayoutLM3 门控神经网络 

学科分类：01[哲学] 0101[哲学-哲学类] 010104[010104] 07[理学] 070104[070104] 0701[理学-数学类] 

D　O　I：10.3969/j.issn.1672-9722.2024.01.004

馆 藏 号：203127298...