摘要：针对新建高校(民办院校)招生网上录取后续数据处理过程中两种不同情况下的重复记录的去除,提出了两种不同的方法:一是直接将待追加(或汇总)源库添加进目标库,再在目标库中删除所产生的重复记录;二是先找出待追加(或汇总)源库与目标库重复的记录并删除,然后再将源库中全新数据记录添加到目标库。在此基础上简要分析了这两种方法的时间复杂度与在应用上的适应性。运用这两种方法有效地解决了作者在开发《高校招生网上录取数据现场处理系统》时面临的设计瓶颈,同时也为其他一些需要进行该类操作的场合提供了可供参考与借鉴的程序。

摘要：为了提高试题库中重复信息自动化检测能力,提出面向试题库建设的大数据相似重复记录检测算法。采用大数据分析方法,构建试题库大数据相似重复记录分布模型,获取随机链路中重复记录的分布区间,采用层次关系入度集特征监测的方法,分析试题库大数据相似重复记录特征结构,根据获取的统计特征量,基于空间网格聚类方法对试题库大数据的相似重复记录进行融合处理,根据处理结果,在空间坐标系中实现大数据相似重复记录的检测。仿真实验结果表明,所提算法进行试题库的大数据相似重复记录检测的错误率较低,时间开销较小。

摘要：数据清洗是提高数据质量的有效手段。分析了从Web上抽取的数据存在的质量问题或错误,针对错误类型,给出属性错误(包括不完整数据和异常数据)和重复与相似重复记录的描述,并提出相应的清洗方法;设计了一个数据清洗系统框架,该框架由数据预处理、数据清洗引擎和质量评估三大部分组成,可以针对不同的错误类型,完成不同的清洗任务。实验表明,该框架具有通用性和可扩展性。

摘要：歌舞厅全电脑灯光效果控制器裘国梁，洪美芳ＣｏｍｐｕｔｅｒＬｉｇｈｔｉｎｇＥｆｆｅｃｔＣｏｎｔｒｏｌｌｅｒｉｎＳｉｎｇｉｎｇＲｏｏｍｓ＆Ｂａｌｌｒｏｏｍｓ￥Ａｂｓｔｒａｃｔ：Ｉｎｖｅｓｈｅａｔｉｎｇｓｍａｎｙｓｉｎｇｉｎｇｒｏｏｍｓａｎｄｂａｌｌｒｏｏ...

摘要：针对新建高校(含民办院校)招生网上录取数据汇总处理过程中重复记录的去除,提出了两种不同的方法:一是先直接追加源库数据,再在目标库中删除重复记录;二是先找出待追加源库中的全新数据,再将它们添加到目标库。经过对两种方法的计算复杂度与适应性的分析,指出了后一种方法在双库去重时的效率更高,但前一种方法在单库去重时具有不可替代的作用。实践中这两种方法不仅有效地解决了作者在开发《高校招生网上录取数据(现场)处理系统》时面临的设计瓶颈,同时也为其他一些需要进行该类操作的场合提供了可供参考与借鉴的程序。