摘要：模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现。首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度。然后在hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9倍,聚类效果更为显著。

摘要：针对改进云计算中服务器端数据的安全性和计算效率,结合全同态加密体制原理,根据云计算的特点提出了一种基于单同态的RSA和Bresson算法的混合全同态算法。该算法在保证数据传输存储安全的基础上,能够实现在云服务器端对密文数据进行统计和计算,其结果等价于明文操作。最后通过搭建hadoop集群模拟云环境进行仿真实验,实现了加密解密过程以及在云服务器端进行"不解密"的全同态多项式计算。证明了该算法在限定理想实验参数的基础上,对比文中分析的全同态加密方案在效率、计算量级和密钥生成时间等方面具有一定优势并且易于实现。

摘要：随着医药卫生体制改革的不断深入,全医疗过程的信息化逐渐被医院重视。病历作为全医疗过程的核心载体,其电子化是医院病历现代化管理的必然趋势。设计并实现了基于hadoop分布式海量结构化电子病历存储检索系统,在此基础上讨论并采用改进的朴素贝叶斯模型查询过滤算法处理复杂大数据的多属性、模糊检索查询条件的任务分解机制以及统计分析等功能。大量运行在hadoop平台上的实验验证了分布式结构化数据管理技术和查询任务分解机制可显著提高查询效率,适合应用在电子病历这类日志性海量流记录数据存储应用场合。

摘要：物联网的出现为人们带来了诸多有利之处,人们在利用物联网的过程中会产生海量的数据,这些数据的不断增多加大了用户从中获取有用信息的难度,因此,物联网海量数据挖掘一直是研究的热点,面对物联网海量业务数据如何能够快速进行分析、处理、存储、挖掘,以实现有价值信息的快速提取,并服务于物联网商业决策,这是亟待解决的主要问题。将基于关联规则Apriori算法设计物联网海量数据挖掘系统。

摘要：最近几年,以微博为首的社交网络迅猛发展,这些平台上包含了网民对于时事热点的观点,对生活和人际关系的看法等大量有价值的信息和资源。由于微博数据非常庞大又难以获取等困难,如何有效地对社交网络进行数据挖掘,是近两年数据挖掘研究的重点和热点。本工作设计和实现了一个基于hadoop的并行社交网络挖掘系统,包含了分布式数据库,并行爬虫,并行数据处理和并行数据挖掘算法集,可以有效地获取和分析挖掘海量的社交网络数据,为社团分析,用户行为分析,用户分类,微博分类等工作提供支持。

摘要：针对当前电网可靠性问题,结合输变电运行特点,在输变电设备缺陷分析平台需求基础上,提出一种基于hadoop的输变电设备缺陷分析平台。首先分析该平台的需求,并给出系统整体架构;其次从数据存储和查询效率入手,采用hadoop架构对数据进行存储,采用CMCH算法提高数据查询效率。再次构建设备缺陷评估模块,通过加权分值计算方式,实现设备缺陷等级的划分;最后通过搭建hadoop平台对该方案进行验证,结果表明,该方案可有效提高数据查询能力,实现对输变电设备缺陷数据的处理。

摘要：针对现有传统算法计算准确度低、初始中心离群点较远等缺点,文中以电网工程数据的LCC模型为基础,提出了一种适合于电网系统全寿命周期成本的贪心-K-Medoids聚类算法。通过贪心搜索方法建立数据分析的K-Medoids聚类算法,分析LCC各项成本的定义及取值,并将该算法应用到不同电网工程中进行变压器、断路器的LCC成本试算。实验结果显示,文中所提算法可有效实现在电网工程数据管理方面的优越性能,不仅可以对成本数据进行细粒度的管控,还能够进一步提高数据归属的精确性,优化后的数据精确度提高了近0.1%。

摘要：准确的负荷预测,可以合理安排机组启停,降低发电成本,特别是短期负荷预测对电力系统控制、运行和规划都有重要意义;传统的预测方法不能及时准确地反映需求响应,在hadoop环境下利用分布式支持向量回归机(Support Vector Regression,SVR)实现负荷预测,同时使用基于均匀设计的自调用SVR (UD-SVR)方法进行参数寻优,进一步提高文章实现的分布式SVR算法精度;通过真实的电力负荷数据集验证该算法,实验数据来自我国西部某地级市连续424天的真实用电量数据;结果表明,文章改进后的算法用于短期电力负荷预测是可行的,不仅预测准确度又在原有基础上明显提高,并且随着数据量的增加,计算速度也大幅提高,减小了负荷预测时间。

摘要：制造业是国民经济的主体,是立国之本、兴国之器、强国之基。机床加工设备是制造业的基础,其智能化是我国制造业转型升级的核心。论文构建机床加工设备数据采集与分析平台,实现设备效能智能监控,提高设备使用率,提高加工效率。平台通过从设备直接采集数据并利用大数据分析,追踪加工过程的效率和工艺数据,对于优化工艺过程、改进生产管理具有巨大的意义。可对机加设备进行运行监控,了解设备的实时运行情况,找出瓶颈工序和设备,提出有效解决手段,从而提高制造效率。

摘要：设计一个基于hadoop分布式文件系统的数据挖掘平台,并基于最大最小距离的思想对K-means算法进行改进.在hadoop分布式文件系统平台上,通过MapReduce实现并行化;以Iris数据集为例,分析了该算法的数据处理效果.结果表明:与传统算法相比,并行算法划分的样本正确度更高;单机环境下并行算法运行时间较长;面对大数据集,传统算法因内存不足无法完成数据处理任务,而并行算法则能完成计算任务;随着集群规模和数据集规模的扩大,并行算法的加速率提高,显示出良好的并行效果.实验结果验证了并行算法在大数据处理中的可靠性,为进一步提高数据挖掘效率提供了一个解决办法.