摘要：本文设计并实现了一个面向信息内容安全应用的文本过滤与自动分类系统。系统采取探测器和分类器两个步骤实现高速网络环境下数据截取、还原、分类的功能。探测器采取简单规则匹配和高速字符串匹配算法来提高数据截取和自身的过滤性能,分类器采取基于简单向量空间模型设计,采取自动学习和人工干预相结合的方法来提高系统的查准率和查全率。本文给出了探测器和分类器在实际应用时的技术性能。

摘要：传统的网络安全数据检测实验系统对于冗余数据处理能力不足,导致实验数据独立性较差。为此,设计基于文本过滤的网络安全数据检测实验系统。在硬件设计上,使用单片机作为中央控制器,设计外部电源适配器以供驱动模块正常工作,引用PCI总线接口芯片设计网络数据采集卡。在软件设计上,通过程序代码与网络数据采集卡的结合实现数据采集,利用文本过滤技术标记原始数据中的异常数据并将其过滤。结合硬件设计和软件设计完成整个系统设计。测试结果表明,对于相同大小的冗余数据,与传统的检测实验系统相比,设计的基于文本过滤技术的网络安全数据检测实验系统数据处理能力更强,数据独立性更好。

摘要：介绍了一种新的文本形式化的语义模型——语境框架。语境框架是一个三维的语义描述,它把文本内容抽象成领域(静态范畴)、情境(动态描述)、背景(褒贬、参照等)三个框架。在语境框架的基础上,根据语境相似度的计算,把文本过滤问题转换成语义框架的匹配问题,可以有效地处理语言中的褒贬倾向、同义、多义等现象,实际应用中表明可以提高文本过滤的性能和过滤系统的定制能力。

摘要：从不良信息中最为普及的中文色情文本过滤入手,用近邻法(KNN)算法构造对比了4种特征项选择的方法在中文色情文本中的应用,它们分别是字、词、标点符号和词性等特征.试验表明,中文色情文本不同特征项的选择对中文色情文本的分类效果起到了重要的作用.实验同时表明,所设计的过滤器在保证速度的前提下,很好地完成了基于内容的高精度过滤.

摘要：为了解决传统文本过滤以关键字检索为主导产生的弊端,利用文本与文本特征之间的关系,并考虑到概念之间的关联,提出了一种基于概念格的文本过滤模型。在以传统的向量空间模型对文本进行表示的基础上,将文本与文本特征之间的关系以概念格的形式加以表示。设计了基于领域本体的概念相似度的计算方法,以概念相似度对概念之间的关联进行衡量。利用了概念格中的层次关系,设计了一个基于概念格的匹配过滤算法。实验结果表明,该模型能有效实现领域文本的过滤。

摘要：本文针对基于关联规则的文本过滤器设计做了如下探索:(1)针对中文网络语言的特点,引入n-Gram方法提取文本的特征;(2)提出边界样本的概念;(3)在设计基于关联规则的文本过滤器时,引进了否定选择算法,采用否定选择算法对过滤器的检测器集合进行自体耐受,最终建立高准确率的文本过滤器。实验表明,经过自体耐受的过滤器可以有效地提高过滤准确率。

摘要：目前广为应用的文本过滤技术是利用关键字检索,没有考虑概念之间的关联,因此其过滤性能在达到一定程度后,很难有突破。介绍了一种基于领域本体的文本过滤模型DOTFM,探讨了领域本体在文本过滤中的应用。DOTFM在文本向量的表示和用户模板建立中引入概念关联度,并提出局部型和全局型的文本向量和用户模板。实验结果表明,DOTFM的召回率比之传统的基于关键字的过滤模型有较大提高,而其准确率在合适的阈值时,也有较大提高。

摘要：为增强校园网的信息安全,研究基于文本的自适应的智能型不良网页过滤关键技术,提出一种创新模式并开发设计了实验系统。该模式是通过自适应样本库构建不良类类别特征字库,并以此为基础构建智能化的不良类类别模式,用以实现不良网页的过滤。实验表明,该模式能以较快的速度和较高的准确率过滤测试文档集中的不良网页。

摘要：针对海量短文本数据,本文基于非结构化数据挖掘平台UIMAAS,设计了一种高效分布式文本过滤算法(DST-FA)。在该算法中,从特征扩展出发,结合词语关键度,提出了一种新型的文本向量和用户模板相似度计算方法。实验证明,与传统的短文本过滤算法相比,DSTFA算法能提高短文本过滤准确率约6.9%,同时系统运行速度随着实例部署个数成线性增长,体现出了良好的可扩展性。

摘要：在阐述Web文本过滤基本理论的基础上,介绍实现Web文本过滤系统WTFilter(WebTextFilter)的几个关键技术:分词、特征提取,分类器的设计。以神经网络作为分类器,并应用遗传算法优化网络结构,使网络具有很好的收敛性和较强的学习能力。