并行科学计算应用中采样数据的聚集I/O

作     者：曹立强 罗红兵 CAO Li-qiang;LUO Hong-bing

作者机构：北京应用物理与计算数学研究所北京100088 

基　　金：国家自然科学基金重大研究计划重点项目(9143028) 国家自然科学基金面上项目(11372049) 

出 版 物：《计算机工程与科学》 (Computer Engineering & Science)

年 卷 期：2018年第40卷第9期

页      码：1534-1539页

摘      要：采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行I/O效率7.5倍以上。

主 题 词：科学计算 采样数据 并行I/O 性能优化 聚合缓存 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-130X.2018.09.002

馆 藏 号：203377067...