基于BERT_Att的机器阅读理解模型

作     者：王红 邸帅 吴燕婷 Wang Hong;Di Shuai;Wu Yanting

作者机构：中国民航大学计算机科学与技术学院天津300300 

基　　金：国家自然科学基金民航联合基金项目(U1633110) 空中交通管理系统与技术国家重点实验室开放基金资助项目(SKLATM201902) 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2023年第40卷第3期

页      码：223-228页

摘      要：针对当前机器阅读理解模型中文本与问题的语义融合不够充分、缺乏考虑全局的语义信息的问题,提出一种基于BERT、注意力机制与自注意力机制的机器阅读理解模型BERT_Att。该模型采用BERT将文本和问题分别映射进特征空间,通过Bi-LSTM、注意力机制与自注意力机制将文本与问题进行充分的语义融合,通过Softmax计算答案的概率分布。在公共数据集DuReader上的实验结果表明,该模型的BLEU-4值与ROUGE-L值较现有的模型均有进一步的提升,并且分析了影响模型表现的因素,验证了该模型设计的有效性。

主 题 词：机器阅读理解 BERT 自注意力机制 Bi-LSTM 语义融合 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-386x.2023.03.034

馆 藏 号：203120964...