布茨定律用于中文同频词规律的实证研究

作     者：李晓超 贾立国 罗燕 陈敏 柳萌萌 赵书良 Li Xiaochao;Jia Liguo;Luo Yan;Chen Min;Liu Mengmeng;Zhao Shuliang

作者机构：河北师范大学数学与信息科学学院石家庄050024 河北师范大学河北省计算数学与应用重点实验室石家庄050024 河北师范大学移动物联网研究院石家庄050024 河北师范大学教务处石家庄050024 

出 版 物：《情报杂志》 (Journal of Intelligence)

年 卷 期：2015年第34卷第6期

页      码：62-67页

摘      要：布茨定律反映了英文文本同频词的分布规律,但布茨定律是否适用于中文文本很少有学者对其进行深入研究。为了探究布茨定律对于中文文本的适用性,揭示中文文本同频词的统计规律,对大量中文文本同频词进行统计研究,实验过程中注重了实验数据规模的选取和文本长度跨度的设计。实验得出:随着文本长度的增大,低频词的同频词数与不同词数的比值并非定值,而是逐渐减小;低频词的同频词数与不同词数的关系呈幂函数增长。另外,随着文本长度的增大,低频词的同频词数与频次为1的同频词数的比值也非定值,而是逐渐增大。上述结果与布茨所做英文的实验不一致,故得出结论:布茨定律不适用于中文文本。

主 题 词：同频词 齐普夫定律 布茨定律 低频词 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1002-1965.2015.06.012

馆 藏 号：203926254...