摘要：针对dhp(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对dhp算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行dhp算法,给出了算法的总体流程和Map函数、Reduce函数的算法描述。与dhp算法相比,并行算法利用了Hadoop集群强大的计算能力,提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行dhp算法的执行过程,在多个数据集上进行了实验。实验结果表明:并行dhp算法对大数据具有较好的加速比和可扩展性。

摘要：随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的特点,设计一种基于近似最小完美Hash函数的AMPHP(approximate minimum perfect hashing and pruning)算法,相较于传统的直接Hash和修剪(direct hashing and pruning,dhp)算法,它可以过滤掉所有的非频繁项集,无需额外的数据库扫描.为了突破单机算法的性能限制,借鉴SON算法思想对AMPHP算法进行并行化改进,提出AMPHPSON算法,进一步提高算法性能.使用实际的动车组牵引电机运维数据进行测试分析,实验结果表明,AMPHP-SON算法具有很好的时间性能,且挖掘出的规则可以有效地指导动车组修程修制优化,从而达到提高动车组运维效率的目的.

摘要：提出采用事务压缩和哈希技术相结合方式的改进算法.该算法通过备份数据库Dk生成候选项目集Ck,在生成Ck的同时计算支持度.针对生成频繁2-项目集L2的瓶颈,在生成L2的时候使用dhp算法.从时间复杂度上对Apriori算法和改进算法进行比较,说明改进算法在效率上优于Apriori算法.

摘要：给出了一个相关规则新的并行算法,利用dhp算法中的HASH技术削减候选集,同时对dhp算法进行优化改进以利于并行算法的实现.在并行化设计中充分利用DMA及OA算法的鹊巢原理及分割思想,针对DMA及OA算法的优越性依赖于数据的特性,提出了动态调整策略,根据数据偏斜情况决定是否采用削剪策略,从而解决数据偏斜问题.

摘要：动车组作为一种高速、安全的铁路客运设备,在运营过程中难免发生故障。针对动车组故障数据量巨大、价值密度低的特点,设计一种基于dhp算法的关联规则挖掘优化算法。采用再哈希技术解决dhp算法中的哈希冲突,提出Rdhp算法。本算法可以百分百地过滤非频繁项集,无需额外的数据库扫描。为了进一步提高算法的效率,基于MapReduce编程思想,提出MR-Rdhp算法,把海量动车组故障数据关联规则挖掘任务分解到集群中的多台计算机上并行处理。实验表明,MR-Rdhp算法具有很好的时间性能,且挖掘出的规则可以有效指导动车组运行维修。