面向高性能应用的MPI大数据处理

作     者：王鹏 周岩 WANG Peng;ZHOU Yan

作者机构：西南民族大学计算机科学与技术学院成都610225 

基　　金：国家自然科学基金资助项目(60702075) 西南民族大学中央高校基本科研业务费专项(2017NZYQN27) 广东省科学技术厅2016年省科技发展专项资金项目(2016B090918062) 广州市2016年产学研协同创新重大专项(201604010115)~~ 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2018年第38卷第12期

页      码：3496-3499,3508页

摘      要：针对消息传递接口(MPI)在高性能计算领域的应用场景,为了优化MPI现有数据集中管理模式,增强其对大数据的处理能力,借鉴并行与分布式系统思想,开发设计一套适用于大数据处理的基于MPI的数据存储组件(MPI-DSP)。首先,创建接口函数,以对MPI系统影响最小的方式实现"计算向存储迁移"的设计目标,将文件分配与计算进行分离,使MPI突破大数据文件读取时的网络传输瓶颈。然后,分析阐述设计目标、运行机制、实现策略,通过描述接口函数MPI_Open在MPI环境下的应用,验证设计理念。通过Wordcount实验对比使用MPI-DSP组件与原MPI在数据文件处理方面的时间性能,初步验证了MPI"计算向存储迁移"模式的可行性,使其具备在高性能应用场景下的大数据处理能力。同时分析了MPI-DSP的适用环境和局限性,界定了其应用范围。

主 题 词：消息传递接口 并行计算 大数据 高性能计算 数据存储插件 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2018040771

馆 藏 号：203430234...