基于动态多头注意力机制的藏文语言模型

作     者：张英 拥措 于韬 ZHANG Ying;YONG Tso;YU Tao

作者机构：西藏大学信息科学技术学院西藏拉萨850000 西藏大学藏文信息技术教育部工程研究中心西藏拉萨850000 西藏大学西藏自治区藏文信息技术人工智能重点实验室西藏拉萨850000 

基　　金：科技创新2030——“新一代人工智能”重大基金项目(2022ZD0116100) 西藏自治区科技创新基地自主研究基金项目(XZ2021JR0002G) 西藏大学学科建设能力提升计划基金项目(藏财预指1号) 西藏大学珠峰学科建设计划基金项目(f22002001) 西藏大学研究生高水平人才培养计划基金项目(2021-GSP-S124) 国家重点研发计划重点专项基金项目(2017YFB1402202) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2023年第44卷第12期

页      码：3707-3713页

摘      要：针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。

主 题 词：注意力机制 动态注意力头数 藏文 预训练语言模型 文本分类 卷积神经网络 自然语言处理 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2023.12.026

馆 藏 号：203125162...