摘要：该文主要探讨如何从技术上实现基于卡方统计检验的文本特征选择,文中提出采用开源的Lucene索引框架对文本分类语料库进行索引,设计了在特征值计算的过程中如何借助语料库索引快速获取卡方统计检验的相关参数,并使用java多线程技术从整体上优化每个分类下文本特征选择的计算效率。

摘要：中文短文本分类中存在大量低频词,利用好低频词中的信息能有效提高文本分类效果,针对基于词向量的文本分类研究中低频词不能被有效利用的问题,提出一种针对低频词进行数据增强的方法。首先,利用受限文本生成模型产生的数据来微调低频词的词向量,再利用一种词向量的构造算法将高频词的更新信息迁移到低频词中,使低频词获取更准确且符合训练集分布的词向量表示;其次,引入相似词和实体概念等先验知识来补充上下文信息;最后,利用改进的卡方统计去除明显的噪声词,以及设计词注意力层对每个词进行加权,减少无关噪声对分类的影响。在多个基础分类模型上进行实验,结果表明各基础模型经改进后都有明显提升,体现了提出方法的有效性,同时也说明了短文本分类任务中低频词能改善分类的效果。

摘要：针对传统CHI方法在选择文本特征时忽略了低频词缺陷和混淆负相关特征的问题,提出一种改进方法。通过考虑特征在类内、类间的分布情况,给CHI模型补充词频信息,弥补单纯依靠文档频率的不足;为了排除某个类别的干扰特征,采用信息熵理论从全局的角度进行衡量,筛选具有类别代表性的词汇。实验结果表明,改进方法分类性能上较传统方法有一定提升,能减少冗余词汇,去除干扰项,增强特征集合的表示效果,最终改善文本语料的分类表现。

摘要：Labeled-LDA模型引入了类别标签信息,较传统的LDA主题模型改进了强制分配主题的问题,但Labeled-LDA模型仍存在一些问题,例如Labeled-LDA在训练主题模型之前没有去除无用词,在训练过程中没有考虑词与各类别的关联度,且Labeled-LDA模型获得的主题分布倾向于高频词,导致主题的表达能力降低等问题。本文提出WLabeled-LDA模型,在训练主题模型之前使用卡方特征来选出好的特征词,训练主题模型时用获得的词对类别的卡方值进行主题模型加权,并使用高斯密度函数对特征词加权来降低高频词对主题表达能力的影响。实验结果显示,此方法能使分类的准确率和召回率得到一定的提高,说明其具有更好的分类效果。