基于匿名网络的网络爬虫设计与实现

作     者：闫立达 薛朋强 YAN Li-da;XUE Peng-qiang

作者机构：新疆大学信息科学与工程学院乌鲁木齐830046 

基　　金：国家自然科学基金项目(No.61163052 No.61303231 No.61433012) 国家自然科学基金联合基金项目(No.U1435215) 

出 版 物：《现代计算机》 (Modern Computer)

年 卷 期：2017年第23卷第11期

页      码：45-49页

摘      要：随着大数据时代的到来,数据重要性也日益凸显,网络爬虫作为获取互联网数据的工具也随之变得重要。为了防范恶意的爬虫,许多网站设定如IP黑名单的反爬虫措施,从而导致对于对数据有着正规需求的机构获取网络数据变得困难。为满足学术界和有正规需求的机构的爬虫需求,设计与实现基于匿名网络的网络爬虫,经过测试系统可以冲突IP黑名单这一反爬虫措施的障碍,为有相关正规需求的机构提供有效的方法。

主 题 词：匿名网络 网络爬虫 Tor 

学科分类：08[工学] 080402[080402] 0804[工学-材料学] 

D　O　I：10.3969/j.issn.1007-1423.2017.16.011

馆 藏 号：203233836...