摘要：对大量有害的url进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的url规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模url过滤的多模式串匹配算法——SOGOPT.该算法在经典的SOG算法基础上,针对url规则的特点,提出了最优窗口选择、模式串分组规约这两种优化技术,大幅度提高了SOG算法的匹配速度,在大规模url规则集上效果尤其显著.该文设计的算法非常适合于大规模(100万级)url实时在线匹配的应用环境.

摘要：介绍了Web内容过滤的技术原理以及如何通过防火墙实现的方法。通过所设计的"内容过滤模型"体现出"用防火墙实现内容过 滤"的优势。该模型把url过滤和文本关键词过滤二种技术相结合。在不降低过滤精度的基础上提高了过滤速度。还论述了对经典过滤算法 以及参数设置的改进,最后以实例介绍在防火墙上的实现方法。

摘要：在研究了现存的主题爬虫的基础上,提出了一种基于统计模型的主题爬虫,它对抓取过程中可获得的信息进行分析,并运用统计模型计算的结果过滤url,有效地解决了偏好特定主题的用户检索和Web信息的索引等相关问题。实验结果表明,与基于链接和网页内容分析的主题爬虫相比,该主题爬虫能够在检索较少的网页时,抓取到较多的与主题相关的网页,提高了抓取精度。

摘要：以农业环境为背景,在搜索引擎基础而又非常重要的部分——网络爬虫的基础上,提出了改进的爬虫设计,其中采用了主题相关性判断和网页选择器筛选的方法,并且通过建立对应的农产品词库,结果表明在农业领域的搜索相关性上有大幅度的提高。

摘要：为实现统一高效的网页内容过滤,提出了一种在网络设备上对网页进行过滤的方法。采用url(Uniform Resource Location)过滤与内容过滤相结合的方式;通过设置黑白名单和老化机制,来改进url过滤;考虑网页的结构化特性,通过改进特征的权值的计算公式,并采用K近邻(KNN)分类算法,改进内容过滤。实例的分析表明:该方法能够在满足用户延迟要求的情况下,对网页进行比较精确的过滤。