基于Hadoop集群的多表并行关联算法及应用
作者机构:辽宁师范大学计算机与信息技术学院辽宁大连116081
出 版 物:《微型机与应用》 (Microcomputer & Its Applications)
年 卷 期:2013年第32卷第4期
页 码:91-93页
摘 要:针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Join算法可以有效地实现大数据表的快速关联,具有显著的并行效率。
主 题 词:Hadoop集群 Mapreduce编程模式 MR_Join算法 数据表并行关联
学科分类:12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类]
D O I:10.3969/j.issn.1674-7720.2013.04.029
馆 藏 号:203147262...