摘要：针对网络大量重复页面,本文研究基于Bloom filter的网络爬虫URL地址消重算法。首先,本文对Bloom filter算法进行了分析研究;其次,本文应用Bloom filter算法设计并实现了网络爬虫的URL消重;最后,论文采用URL消重率和爬虫爬取某类网站所用时间等性能指标,对基于遍历法和基于MD5算法的URL消重性能与基于Bloom filter的消重性能做了对比。实验证明,基于Bloom filter的网络爬虫URL地址消重算法效率较高。

摘要：文章从属性选择角度对粗糙集属性约简概念进行扩展,在属性约简综合多重属性选择标准方面做了初步的研究。将属性类内一致性选择标准与粗糙集属性约简结合,以获得抗噪的约简;设计了一种全局最优算法和一种次优filter算法,从分类正确率、最简性及类内类间距离方面对一致性判据JC进行了测试,实验结果显示一致性高的属性约简集优于其他约简集。

摘要：设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。

摘要：爬虫是搜索引擎的重要组成部分,它决定了搜索引擎的性能,而Larbin正是一种高效的网络爬虫。首先分析了Larbin的设计结构,再由对其核心的算法Bloom filter进行了研究,并对其提出了改进。最后是关于Larbin优化的实现。

摘要：随着互联网的迅速普及和网络通信流量的高速增长,在网络安全这个大环境里面,字符串匹配已经成为入侵检测系统和协议分析系统的瓶颈。本文深入研究BF算法和Bloom filter算法,并且以这两种算法为基础,设计出可执行的Verilo硬件代码,分析两者的优劣。