基于MapReduce海量视频数据并行计算系统的设计

作     者：李哲 李虎俊 张天凡 Li Zhe;Li Hujun;Zhang Tianfan

作者机构：湖北工程学院新技术学院，湖北孝感432000 西北工业大学自动化学院，陕西西安710072 湖北职业技术学院继续教育学院湖北孝感432000 

基　　金：湖北工程学院自然科学基金(2013016,201515) 湖北工程学院新技术学院自然科学基金(Hgxky14) 湖北省公安厅自主科研项目(鄂公传发【2015】70号) 

出 版 物：《湖北工程学院学报》 (Journal of Hubei Engineering University)

年 卷 期：2015年第35卷第6期

页      码：26-31页

摘      要：在总结视频图像数据处理现状的基础上，针对海量视频数据的并行化处理问题，提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群，在此基础上利用Hadoop实现了MapReduce。在此平台上设计基于CUDA 的并行数据处理算法对千万条文本数据进行处理，分析了其数据装载时间、处理时间和全部任务处理时间。结果表明，该系统当前加速比约为4．73，与C／S单机相比，处理速度有较大程度的提高，为实现实时海量视频图像处理奠定了良好基础。

主 题 词：并行计算 海量视频数据 MapReduce Hadoop 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.2095-4824.2015.06.005

馆 藏 号：203121338...