基于可信度的中文完整词自动识别

作     者：王芳 万常选 WANG Fang;WAN Changxuan

作者机构：江西财经大学信息管理学院江西南昌330013 江西财经大学数据与知识工程江西省高校重点实验室江西南昌330013 南昌大学人文学院江西南昌330031 

基　　金：国家自然科学基金资助项目(60763001) 江西省自然科学基金资助项目(2007GZS0082) 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2009年第23卷第3期

页      码：17-23页

摘      要：中文自动分词是中文信息检索中预处理工作的一部分,也是中文信息检索技术中的重要问题之一。针对在信息检索中完整词整体表达更有意义、更能体现用户查询目的的问题,结合完整词的成词特点,将互信息和完整词前后缀的计算,与组成完整词的可信度相关联,提出基于可信度的三种中文完整词自动识别方法,分别构成基于全信度、偏信度,以及前两者加权平均的混信度的完整词识别方法,设计及实现了基于可信度的三种完整词自动识别中文分词原型系统。最后给出了对第二届SIGHAN(2005)北京大学测试集语料的各项实验测试结果和分析,结果表明该原型系统的识别性能良好,且能同时满足多种性能的需求。

主 题 词：计算机应用 中文信息处理 中文分词 互信息 可信度 自动识别 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1003-0077.2009.03.003

馆 藏 号：203433884...