基于Nutch的多源社交媒体情报采集系统

作     者：傅魁 覃桂双 FU Kui;QIN Gui-shuang

作者机构：武汉理工大学经济学院 

基　　金：教育部人文社会科学研究规划基金项目(17YJA870006) 湖北省自然科学基金项目(2018CFB564) 

出 版 物：《北京邮电大学学报（社会科学版）》 (Journal of Beijing University of Posts and Telecommunications(Social Sciences Edition))

年 卷 期：2019年第21卷第5期

页      码：85-92页

摘      要：以新闻、论坛、贴吧、微博等互联网社交媒体平台为研究对象,在对各平台进行领域建模、情报采集流程设计以及采集内容解析的基础上,设计了基于网络抓取开源工具Nutch的通用采集系统。根据各平台特点,分别将分类排名、分块解析、模拟登录方法应用于新闻、论坛贴吧、微博的采集工作中,以提高系统的通用性和性价比,实现对多源社交媒体情报的高效采集。

主 题 词：Nutch 社交媒体情报 多源情报采集 内容解析 模拟登录 

学科分类：050302[050302] 05[文学] 081203[081203] 08[工学] 0835[0835] 0503[文学-新闻传播学类] 0812[工学-测绘类] 

D　O　I：10.19722/j.cnki.1008-7729.2019.0064

馆 藏 号：203820444...