Web新闻自动采集发布系统的设计与实现

作     者：张春元 康耀红 伍小芹 ZHANG Chun-yuan;KANG Yao-hong;WU Xiao-qin

作者机构：海南大学信息科学技术学院海南海口570228 

基　　金：海南省自然科学基金项目(80638) 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2009年第19卷第9期

页      码：250-252,F0003页

摘      要：针对新闻网站通过人工方式采集发布来自其它网站的Web新闻费时费力、易重采与漏采这一问题,综合运用Web信息采集技术、网页去噪技术、文本文档消重技术以及文本自动分类技术设计并实现了一种基于网络爬虫的Web新闻自动采集发布系统。在给出系统总体结构的基础上,对其各个模块的功能、设计与实现方法进行了详细介绍。实验表明,该系统设计合理,具有采集效率高、消重准确、集成方便、运行费用低等优点,可作为新闻网站的采编工具加以推广使用。

主 题 词：网络爬虫 网页去噪 文档消重 Web新闻发布 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-629X.2009.09.068

馆 藏 号：203234367...