网络蜘蛛在网络论坛领域的研究与设计

作     者：滕召生 胡德敏 TENG Zhao-sheng;HU De-min

作者机构：上海理工大学光电信息与计算机工程学院上海200093 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2011年第28卷第2期

页      码：492-494,520页

摘      要：为了提高网络蜘蛛在爬行网络论坛时的爬行效率,从论坛布局结构特点出发,分析论坛所具有的普遍特征,设计了一个针对论坛的特殊的网络蜘蛛爬行策略。通过对大量论坛的布局结构分析发现,用户感兴趣的信息都使用设计者事先设计好的布局结构展现给用户。而这种布局结构可以通过DOM树体现出来,对DOM树进行操作,提取出URL,然后对重复的URL进行过滤。实验表明该爬行策略提高了网络蜘蛛爬行效率,节省网络带宽及本地存储空间。

主 题 词：网络蜘蛛 文档对象模型树 页面重复区域 爬行策略 重复模板 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1001-3695.2011.02.023

馆 藏 号：203149015...