摘要：在分布式大数据的存储和传输过程中,数据极易被恶意用户攻击,造成数据的泄露和丢失;为提高分布式大数据的存储和传输安全性,设计了基于属性分类的分布式大数据隐私保护加密控制模型;挖掘用户隐私数据,以分布式结构存储;根据分布式隐私数据特征,判断数据的属性类型;利用Logistic混沌映射,迭代生成数据隐私保护密钥,通过匿名化、混沌映射、同态加密等步骤,实现对隐私数据的加密处理;利用属性分类技术,控制隐私保护数据访问进程,在传输协议的约束下,实现分布式大数据隐私保护加密控制;实验结果表明,设计模型的明文和密文相似度较低,访问撤销控制准确率高达98.9%,在有、无攻击工况下,隐私数据损失量较少,具有较好的加密、控制性能和隐私保护效果,有效降低了隐私数据的泄露风险,提高了分布式大数据的存储和传输安全性。

摘要：为了满足用户的数据采集与应用需求,提出非关系型分布式大数据多分辨率采集系统设计。搭建分布式大数据多分辨率采集架构,引入Boosting算法将同一空间分辨率数据划分为同一类别,完成大数据的聚类处理;测量数据传输延时与时钟偏移量,同步配置分布式时钟;以大数据聚类结果为基础,以分布式时钟同步配置为依据,以用户需求数据分辨率范围为限制,在大数据聚类集合中提取相关数据,选取适当的存储节点保存提取数据,从而实现分布式大数据的多分辨率采集。实验结果表明:应用设计系统获得的数据采集速率最大值为140 MB/s,数据采集质量因子最大值为9.4,证实设计系统应用性能更佳。

摘要：针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法。对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值。设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选。根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点。利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘。实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值。

摘要：在大数据呈爆发式增长情况下,采用传统迁移系统存在迁移响应速率慢的问题,针对该问题,设计了混合云存储架构下分布式大数据异步迁移系统。采用主从同步服务器,通过SQL thread线程读取,实现数据库主从同步与分离。依据大数据迁移流程,分析时长和访问频率,由此获取迁移函数,在混合云存储架构下,对敏感数据集进行判断,实现对迁移函数最大数据集的迁移。系统运行结果表明,混合云存储架构下设计的系统迁移响应速率更快,优化了迁移系统性能。

摘要：传统的分布式大数据检索系统构建的数据仓库模型不稳定,导致数据检索时间较长,因此设计基于Hadoop的分布式大数据检索系统。该系统硬件上采用SSD固态硬盘存储数据,软件上根据分布式大数据检索系统的特性设置实时数据更新模式扩宽检索范围,基于Hadoop构建数据仓库模型,采用数据聚类融合算法检索分布式大数据。实验结果表明,设计系统能够有效缩短检索时间,节约检索成本。

摘要：为提升分布式大数据的存储能力,实现大数据的定向迁移与应用,提出基于网格技术的分布式大数据混合云存储方法。采用网格技术设计Hadoop型云框架、大数据调度模块、信息互感平台,完成分布式存储结构搭建。在此基础上,通过划分大数据存储关系,定义混合云存储的具体格式,实现分布式大数据混合云存储方法设计。实验结果表明,与传统分级信息存储方法相比,新方法的大数据定向迁移速率达到4.5×10^7T/h,存储容量的上限也明显提升,能够充分满足分布式大数据存储需求。

摘要：本文根据计算机维修实验室管理系统功能需求,提出了基于Spark应用分布式大数据算法。研究过程中,以分布式算法为切入点,分析算法应用消息传递系统、流媒体数据处理系统,构建预测模型,以此为基础开展系统实体框架设计,且对系统进行测试,结果表明系统功能、性能均满足管理要求。

摘要：分布式大数据控制受到信道数量影响易产生不同步现象,导致信道控制性能较差,设计一种云计算环境下分布式大数据多信道并行控制系统;系统硬件:节点处理模块由FPGA芯片以及抗干扰器组成;无线通信模块主要由射频芯片与无线收发器组成;USB模块由接口芯片、寄存器、存储芯片以及周边电路构成;系统软件:分布式大数据多信道数据存储与处理模块的构成同步存储数据单元与数据多路实时处理单元;多信道并行控制模块主要由多信道并行管理单元、多信道状态扫查单元以及生成数据流单元构成;通过硬件与软件相结合实现了分布式大数据多信道并行控制;实验结果证明,分布式大数据信道平均传输速率数据则分布、保持的较为均匀,实现了性能提升。

摘要：针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统。该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行。软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求。