面向概括性小文本的文本分割算法

作     者：陈源 陈蓉 胡俊锋 林霖 张靖波 于中华 CHEN Yuan;CHEN Rong;HU Jun-feng;LIN Lin;ZHANG Jing-bo;YU Zhong-hua

作者机构：四川大学计算机学院成都610064 

基　　金：国家自然科学基金资助项目(60473071) 高等学校博士学科点专项科研基金资助项目(20020610007) 四川大学计算机学院青年基金资助项目 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2008年第34卷第22期

页      码：43-45页

摘      要：文本分割是自然语言文本处理的一项重要研究内容。该文针对现有模型无法有效分割概括性小文本的不足,提出基于隐马尔可夫模型的统计算法。该算法利用小文本中各结构块的长度及词汇信息,对概括性小文本进行同一主题不同论述侧面的分割。对发射概率设计了基于句群和基于分割点2种不同的计算方法。以Medline摘要为样本进行的实验表明,该算法对概括性小文本分割是有效的,明显好于经典的TextTiling算法。

主 题 词：文本分割 概括性小文本 隐马尔可夫模型 边界识别 相似性度量 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1000-3428.2008.22.015

馆 藏 号：203971707...