摘要：基于SARIMA的消费额度估计模型,未结合大数据方法进行消费额度估计,采用的数据缺乏科学性,导致获取的消费额度估计结果不准确,为此设计基于大数据分析的ARIMA消费额度估计模型。通过hadoop平台获取以往消费额度的大数据初步分析,构建以往消费总额的时间序列,采用一阶差分、季节性差分以及对数转换方法获取平稳性时间序列,使用ARIMA模型对时间序列进行分析构建基于大数据分析的ARIMA消费额度估计模型,采用MAPE衡量模型检验所设计模型的估计能力,确保该模型可用于消费额度的准确估计。实验结果表明,所设计的模型消费额度估计准确度高达99.7%,可用于消费额度的准确估计。

摘要：针对云存储空间数据高冗余问题,提出一种基于擦除码的高效云存储方案。设计一种云存储系统模型,使用擦除码,将编码后的原始数据文件分散存储于云存储系统各节点上,由接收者解码完成数据恢复,保证数据文件高可用性并优化存储冗余度,降低存储空间消耗,利用Chord环提升分布式容灾存储数据块的检索效率。搭建hadoop云存储平台进行测试,测试结果表明,该方案在保持高可用性的同时,提升了存储空间利用率。

摘要：为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。

摘要：在单机环境下,难以处理半结构化XML大数据查询,为此分析Twig查询的结构匹配特征,基于MapReduce编程模型,提出TwigMRR算法对XML Twig查询进行分布式处理。对XML数据进行Dewey编码,水平切分后存储于分布式文件系统,通过执行Map-Reduce-Reduce任务对Twig分解后的线性路径查询进行分布式并行计算以取得结果。实验结果验证了该算法的有效性和完整性,与类似算法的比较结果表明了其在处理效率方面的优势。

摘要：随着“互联网+”的快速发展,行政事业单位利用信息技术改善其预算管理内部控制评价的需求愈加强烈。以重庆海事局为例,根据财政部《行政事业单位内部控制规范(试行)》等相关文件和财务云平台预算管理业务应用,设计了基于hadoop平台的预算管理内部控制评价数据仓库体系结构,对数据仓库的数据采集、清洗、转换过程进行了详细阐述,并从主题确定、声明粒度、确认维度、确认事实以及模型设计五个步骤具体分析了预算管理内部控制评价数据仓库的构建过程,最后利用基于Hive的HQL语言进行数据分析,展示了行政事业单位预算管理内部控制评价的具体应用方法。

摘要：针对矿产资源潜力评价成果数据,提出使用hadoop平台下的HDFS对海量数据进行存储,构造地质矿产资源数据存储模型。使用支持单条记录快速查询的HBase数据库管理其元数据,并进行矿产资源潜力评价成果数据的快速检索,同时,在HBase上设计多级索引目录支持非主键查询,解决了HBase只支持简单的基于主键索引的缺点,实现了对矿产资源潜力评价成果数据的智能检索,并通过实验进一步验证该方法的正确性和可行性。

摘要：现有的云计算作业调度算法研究较少考虑时间期限和预算对作业调度策略的影响。针对动态变化的云计算环境下,具有时间期限和预算双重约束的用户需求优化问题,提出一种改进的云计算调度算法,设计权值计算模型、预算评价模型和权值更新模型,通过动态调节作业权值和最小资源槽数来控制集群对资源的分配。在hadoop平台上进行实验,结果表明,该算法能减少作业响应时间,并且可在满足用户对时间期限和预算的需求基础上,最大化云计算集群中运行的作业数,提高不同用户在时间和预算需求上的公平性。

摘要：为了获得理想的光纤通信系统安全态势预测效果,针对光纤通信系统安全态势预测建模过程中存在的一些问题,设计基于大数据分析技术的光纤通信系统安全态势预测方法。首先,搭建光纤通信系统安全态势预测的hadoop分布式数据处理平台;然后,收集光纤通信系统安全态势变化的历史样本,并采用多个极限学习机并行对光纤通信系统安全态势数据进行训练,构建光纤通信系统安全态势预测模型;最后,采用Matlab 2017编程实现光纤通信系统安全态势预测仿真对照测试。结果表明,大数据分析技术的光纤通信系统安全态势预测精度超过95%,预测误差远远小于对照方法,降低了预测建模的时间复杂度,光纤通信系统安全态势预测效率得到了明显提升,具有更优的实际应用价值。

摘要：传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本。使用hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源。为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和hadoop集群的集成。测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率。

摘要：在高速网络中,网络设备的分组转发性能在打开流采集功能后会受其影响。为此,提出一种在网络设备外基于云计算平台的并行流生成方法。在需要监测的网络设备附近部署小型云,把分组流量复制到云中,采用云的Map-Reduce并行处理框架快速地从海量分组数据中生成流记录。设计基于Map-Reduce框架的并行流生成算法,通过配置合适数量的云节点,可分析任意大小的网络流量。用实际网络分组数据对并行流生成方法的性能进行验证,实验结果表明,在由3台、5台或7台节点构成的小型云平台上,从超过40 GB的文本分组数据中共提取了15 160 052条流,与顺序处理相比,耗费时间至少可减小85%、90%和94%。