基于BERT预训练模型的古汉语自动分词方法研究

作     者：高毅 GAO Yi

作者机构：陕西国防工业职业技术学院陕西西安710300 

基　　金：陕西省职业技术教育项目(2020SZJSZ-061) 陕西省教育科学“十三五”规划项目(SGH16V049) 

出 版 物：《电子设计工程》 (Electronic Design Engineering)

年 卷 期：2021年第29卷第22期

页      码：28-32页

摘      要：在自然语言的智能处理领域中,相较于现代汉语,古汉语的研究由于可用有效标注资源有限、种类欠缺,使得古汉语自然语言处理技术的发展相对缓慢。针对古汉语的分词任务,文中借助于双向最大匹配法则,通过训练多种古汉语语料库建立适用于古汉语自动分词的BERT模型,并在多种语料库上进行实验分析。与使用一般神经网络的模型相比,文中所提模型具有更优的训练效果。数据实验结果表明,在3种古汉语文献中双向匹配多阶段迭代训练分词方法获得的F1值分别为96.4%、96.4%、95.4%;而一般神经模型所获得的F1值为92.8%、92.8%和90.5%,即文中方法在古汉语的自动切词任务上具有更优的性能表现。

主 题 词：自动分词 深度学习 BERT模型 双向最大匹配 准确度 召回率 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.14022/j.issn1674-6236.2021.22.007

馆 藏 号：203106096...