基于Map-Reduce构建高效文本聚类系统

作     者：曾静静 李翔 林祥 ZENG Jing-jing;LI Xiang;LIN Xiang

作者机构：上海交通大学信息安全工程学院上海200240 

基　　金：国家自然科学基金资助项目 基于特征概念网的网上离散文本信息舆情分析研究(批准号:60772098) 科技攻关计划资助项目 网络视频内容检索和分类技术研究(编号:09511501402) 

出 版 物：《信息安全与通信保密》 (Information Security and Communications Privacy)

年 卷 期：2011年第9卷第5期

页      码：98-100页

摘      要：互联网热点发现和舆论监控对政府公信力的提升有着重大的意义,而文本聚类技术在这些领域又有着非常广泛的应用。在当前互联网环境下,数据量之大令人匪夷所思,面对如此海量的数据,设计高效且具有良好可伸缩性的分布式处理系统就显得尤为重要。提出了把Map-Reduce这一分布式计算方法应用到文本聚类系统去,并通过相关实验证明了该方法的有效性,为构建具有高性能和高可扩展性的文本聚类系统提供了一种思路。

主 题 词：文本聚类 Map-Reduce 分布式计算 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1009-8054.2011.05.046

馆 藏 号：203557534...