摘要：进行了一种面向特定领域主题搜索的实践——聚焦式Webcrawler。分析了搜索引擎和聚类算法的一般工作原理,并指出其不足。在此基础上,综合两者的优点形成了聚焦式Webcrawler工具,介绍了该工具的主要技术及实现方式。

摘要：针对目前通用搜索引擎所搜索到的结果过多,与主题相关性不强的情况,提出了面向主题的搜索引擎,文章以主题相关度为核心研究和设计了主题crawler,为进行主题搜索引擎的研究奠定了良好的基础.

摘要：设计和实现了一个基于搜索引擎crawler技术的超链接测试系统。通过将crawler的爬行范围限制在一个网站之内,系统可以自动对待测网站进行扫描,有效地找出烂链和孤页。测试表明,相对于其它超链接测试产品而言,系统的测试自动化程度较高,为测试人员提供了较为丰富的控制手段。

摘要：基于Web的信息资源组织与构建是当今IT产业面临的重大课题。设计优化的组织模型及自动构建和维护网络信息资源是一项基本建设。本文阐述了网络信息的组织原理与构建方法 ,认为利用网络机器人是组织与维护网络信息资源的有效模式 。

摘要：The structure and working principle of a kind of permanent-magnet adsorption tracked wall-climbing ro-bot used in ship was analyzed in this paper. The robot can complete vertical climbing wall function when perma-nent-magnet adsorption tracked was driven by ac servo motor. In order to improve the load capacity and obstaclesurmounting ability of robot, a new permanent-magnet auxiliary caster adsorption mechanism and driven wheelfloating mechanism were used for the design of structure. In thispaper, the mechanical state of the permanent-mag-netic adsorption tracked climbing mechanism was analyzed. Through the magnetic simulation and experimental a-nalysis of magnetic adsorption system, the adsorption unit structure and electric drive system parameters of thepermanent-magnet tracked wall-climbing robot were reasonably designed.

摘要：首先介绍了网络爬虫的定义,给出其分类及工作原理,最后在介绍垂直爬虫Web magic框架的基础上,设计并实现了基于***的轻量级网络爬虫,并应用于交通应急网站新闻抓取模块,效果较好.

摘要：0引言随着网络的不断发展,大量数据以文本形式、图片甚至视频的形式存储,通过网络爬虫(crawler)获取网络数据是一种非常流行的方法。本文将基于Python的网络爬虫技术的关键性问题以及一些相应的解决方法进行讨论。1相关性问题介绍数据爬取任务通常是基于Robots协议进行,再分析网站DOM树爬取所需要的数据。在解析过程中主要使用正则表达式进行筛选和匹配,针对网站的反爬取机制采取一些措施和手段。下面分别针对这些具体知识点和解决方案进行介绍:1.1 Robots协议Robots协议的全称是网络爬虫排除标准(即Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。它是Web站点和搜索引擎爬虫交互的一种方式,并不是一个规范,所以并不能保证网站隐私。在互联网世界中,每天都有不计其数的爬虫在日夜不息地爬取数据,其中恶意爬虫的数量甚至高于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫,但是并不是每个爬虫都会主动遵守Robots协议。1.2分析网站DOM树爬取数据网站结构分析是进行数据采集的必备技能,在编写爬虫之前我们需要知道数据所在的位置,之后才能通过遍历节点树或查找子节点找到目标数据。Google浏览器的开发者模式就是分析网站结构的强力工具,利用好这个工具就可以轻松分析出目标数据的位置,还能获取渲染内容、cookies等信息。