神经网络藏文分词方法研究

作     者：桑杰端珠 才让加 

作者机构：青海师范大学藏文信息处理教育部重点实验室西宁810001 青海省藏文信息处理与机器翻译重点实验室西宁810001 

基　　金：国家自然科学基金(61662061 61063033) 国家重点研发计划(2017YFB1402200) 青海省科技厅项目(2015-SF-520) 

出 版 物：《青海科技》 (Qinghai Science and Technology)

年 卷 期：2018年第25卷第6期

页      码：15-21页

摘      要：藏文分词是各类藏文自然语言处理的首要任务,藏文分词的性能直接影响下游的其他自然语言处理任务的性能。传统上多数研究者使用线性统计方法进行藏文分词的研究,但是此类方法需要大量人工设计的语言学特征。研究提出了一种藏文分词的神经网络构架,这种构架只需监督式训练的标注数据和无监督学习嵌入表示的未标注语料,而无需介入人工特征工程。通过对CNN、BiLSTM、和CRF三种网络的有效组合,使分词模型在测试数据集上的准确率、召回率和F1值分别达到了93.4%、94.2%和94.1%,超越了各类基准模型的表现。

主 题 词：藏文分词 神经网络 BiLSTM CNN CRF 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081203[081203] 08[工学] 081104[081104] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1005-9393.2018.06.004

馆 藏 号：203454007...