分布式朴素贝叶斯算法在文本分类中的应用

作     者：赵文涛 孟令军 赵好好 韩炳权 成亚飞 ZHAO Wen-tao;MENG Ling-jun;ZHAO Hao-hao;HAN Bing-quan;CHENG Ya-fei

作者机构：河南理工大学计算机科学与技术学院河南焦作454000 河南省普通高等学校矿山信息化研究重点实验室河南焦作454000 河南理工大学测绘与国土信息工程学院河南焦作454000 

基　　金：河南省科技攻关(142402210435) 河南省高等学校矿山信息化重点学科开放实验室开放基金项目(ky2015-05) 

出 版 物：《测控技术》 (Measurement & Control Technology)

年 卷 期：2016年第35卷第6期

页      码：50-55页

摘      要：传统串行贝叶斯算法在对大规模数据进行分类时,性能较低下。为此,在TFIDF(词频-逆向文件频率)特征加权基础上,提出ICF(逆类别因子)类别加权因子,对传统贝叶斯分类模型进行改进。利用MapReduce并行计算框架在处理海量数据方面的优势,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,与传统分布式朴素贝叶斯算法和TFIDF加权的分布式朴素贝叶斯算法相比,改进后的分类算法在查准率、查全率、F-measure等方面都有了较大提高。

主 题 词：MapReduce框架 文本分类 朴素贝叶斯算法 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-8829.2016.06.013

馆 藏 号：203182633...