利用HDF5和Esper的高效外汇数据分析系统

作     者：蔡昭权 吴文忠 卢庆武 张锐 CAI Zhao-quan;WU Wen-zhong;Lu Qing-wu;ZHANG Rui

作者机构：惠州学院教育技术中心广东惠州516007 广东金融学院广东广州510521 

基　　金：广东省科技计划资助项目(2009B010800026) 广东省自然科学基金资助项目(9151008901000165) 惠州市科技计划资助项目(2009G024) 

出 版 物：《计算机工程与科学》 (Computer Engineering & Science)

年 卷 期：2011年第33卷第4期

页      码：159-163页

摘      要：为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。

主 题 词：关系数据库 HDF5 高效数据分析系统 外汇分析模型 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1007-130X.2011.04.031

馆 藏 号：203402696...