摘要：数据清洗是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过map-reduce计算模型,该系统能够检测并修复数据质量方面的各类问题。该系统包含以下特征:(1)支持数据质量方面各类问题的清洗工作;(2)数据云清洗进度可视化以及参数设置;(3)友好的数据集输入接口以及清洗后的数据集输出接口。该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统。

摘要：针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统。此云计算系统是在Hadoop分布式计算框架的基础上采用map-reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度。

摘要：随着移动互联、物联网技术的迅猛发展和移动终端的普及,预计到2020年,全球数据量将达到35.2 ZB。那么,从海量数据中处理和提纯有价值的数据的效率将成为一种核心竞争力。文章采用基于Lambda架构的大数据解决方案,该方案在硬件架构层集成了刀片服务器、存储、网络等设备;软件架构层整合当今主流的各类大数据组件,系统平台实现移动互联海量数据采集、挖掘、数据仓库和数据分析等功能。

摘要：目前,基于Hadoop视频处理的传统方法都是通过mapreduce从本地文件系统读取数据,利用帧字节流进行mapreduce间数据传输,这会产生大量的系统IO,造成系统资源浪费;针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了mapreduce相关视频数据处理接口,使Hadoop可以更快速处理视频文件;通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10%,IO读写量减少50%以上,提升了Hadoop视频文件的处理效率。

摘要：随着互联网的普及和信息技术的发展,密码恢复作为密码学分析的一个重要方向,在计算机数据和电子取证等领域有着重要的应用。当前的密码恢复系统实现多采用C/S架构,无法满足目前计算机取证的时间要求。运用云计算(Cloud Computing)设计了一类新的方法来实现快速的密码恢复系统,基于map-reduce编程模型和分布式文件系统存储搭建了密码恢复私有云,为构建高性能和高扩展性的密码恢复系统提供了一种新的思路和解决方案。

摘要：随着时代的信息化发展,大数据在各行各业中的应用越来越重要,然而大数据应用也面临着信息质量下降、数据处理困难等挑战,阻碍着大数据应用进一步发展,而云清洗系统可以针对这些问题逐一击破,着重探讨大数据云清洗系统的设计与实现。