基于Spark的大数据分析平台的设计和应用

作     者：须成杰 肖喜荣 张敬谊 郑文婕 XU Chengjie;XIAO Xirong;ZHANG Jingyi;ZHENG Wenjie

作者机构：复旦大学附属妇产科医院上海市200011 万达信息股份有限公司上海市201112 

基　　金：上海市科委民生科技支撑计划专项临床医学科技创新项目(项目编号:17411950500 17411950505) 

出 版 物：《中国卫生信息管理杂志》 (Chinese Journal of Health Informatics and Management)

年 卷 期：2019年第16卷第5期

页      码：633-637页

摘      要：目的针对当前大数据处理在数据存储、计算速度和分析算法等方面的技术难题,提出有效的一体化解决方案。方法以Spark计算框架、Hadoop分布式存储和机器学习算法3项技术为支撑,构建大数据在线分析服务平台,并在平台上对Ⅱ型糖尿病分类任务进行训练和预测。通过对比实验证明,基于Spark框架和Spark机器学习算法进行大数据分析,大大提高了计算效率,减少了时间成本。结论基于Spark框架的大数据分析平台能够实现海量数据的快速存储和计算,降低医疗行业数据分析领域的技术门槛,有利于促进大数据产业加快发展。

主 题 词：Spark 大数据 机器学习 分类与回归 

学科分类：1001[医学-基础医学] 10[医学] 

D　O　I：10.3969/j.issn.1672-5166.2019.05.025

馆 藏 号：203822445...