基于HBase的证券交易数据实时采集系统的应用研究

作     者：丁俊 郑辉 Ding Jun;Zheng Hui

作者机构：安徽工业经济职业技术学院计算机与艺术学院 

基　　金：安徽省高校自然科学研究重点项目(KJ2018A0764) 

出 版 物：《黑龙江工业学院学报（综合版）》 (Journal of Heilongjiang University of Technology(Comprehensive Edition))

年 卷 期：2019年第19卷第12期

页      码：42-49页

摘      要：随着大数据时代的到来,数据逐步上升为一种战略资源,在大数据产业链中,数据采集作为整个产业链的源头,直接影响着后续各个环节的发展。试提出一种数据采集方案,专门用来采集WEB网页中通过Ajax动态产生的JSON数据,同时利用Quartz和TimerTask双重定时机制,实现在指定的时点,在指定的周期内,按照指定的频率进行数据采集,以适应证券交易数据实时动态产生的应用场景,动态产生的实时JSON数据被采集后,系统再对其进行解析处理,并存储到分布式数据库HBase中,为后续的大数据实时统计分析和挖掘提供数据源。

主 题 词：数据采集 定时机制 JSON数据 动态 实时 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.16792/j.cnki.1672-6758.2019.12.010

馆 藏 号：203870453...