摘要：现有大数据流整合系统采用统一随机采样策略,当整合环境存在干扰时会出现严重的数据丢失现象,为解决上述问题,引入多维分层采样策略,分别从硬件和软件两个方面实现对时间维度型大数据流整合系统的优化设计。在硬件方面主要改装微处理器、存储器以及数据分类器等元件,提高硬件系统的运行稳定性。在此基础上,搭建多时间维度数据分层模型,并通过大数据流业务系统数据实现数据探查,并以多维分层的聚类算法为底层逻辑,检测数据质量。最终将质量检测合格的数据流整合在一起,从而实现系统的数据流整合功能。通过系统测试得出如下结论:在复杂环境下,基于多维分层采样的时间维度型大数据流整合系统的丢失数据量为1.25 MB,与传统整合系统相比减少了15 MB。

摘要：针对当前动态大数据多维关联性分析过程中数据处理时间过长的问题,提出基于粒矩阵设计动态大数据多维关联性分析技术。采用模糊粗糙集粒化动态大数据,以此为基础,采用粒计算理论构建动态大数据粒矩阵,利用PSO算法优化粒矩阵,通过逻辑约简运算,得到动态大数据关联信息粒,实现基于粒矩阵的动态大数据多维关联性分析。通过实验结果显示,与现有的动态大数据多维关联性分析技术相比较,提出的动态大数据多维关联性分析技术极大地降低了数据处理时间,充分说明提出的动态大数据多维关联性分析技术具备更好的性能。