文献检索-宁波市创意产业特色资源库

限定检索结果

基于动态多头注意力机制的藏文语言模型: 收藏
分享
引用; 《计算机工程与设计》2023年第12期44卷 3707-3713页; 作者：张英拥措于韬西藏大学信息科学技术学院西藏拉萨850000 西藏大学藏文信息技术教育部工程研究中心西藏拉萨850000 西藏大学西藏自治区藏文信息技术人工智能重点实验室西藏拉萨850000; 针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据...; 针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况,提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数,使语言模型可以捕获重要的特征信息,在藏文公开数据集TNCC上进行验证。实验结果表明,改进后的预训练模型能够动态学习句子中的重要特征,在目前的TNCC文本分类任务上F1值均取得最优,其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。; 来源：详细信息评论

限定检索结果