基于Spark的高效并行自动编码机

作     者：庄福振 钱明达 申恩兆 张大鹏 何清 Zhuang Fuzhen;Qian Mingda;Shen Enzhao;Zhang Dapeng;He Qing

作者机构：中国科学院计算技术研究所智能信息处理重点实验室北京100190 燕山大学信息科学与工程学院秦皇岛066004 

基　　金：国家重点研发计划(2017YFB1002104)资助项目 国家自然科学基金(61773361 61473273 91546122 61573335 61602438)资助项目 广东省省级科技计划(2015B010109005)资助项目 

出 版 物：《数据采集与处理》 (Journal of Data Acquisition and Processing)

年 卷 期：2018年第33卷第1期

页      码：65-74页

摘      要：机器学习中一个非常关键的问题就是如何获取良好的数据特征表示,许多经典的特征提取方法是基于数据间关系或利用简单线性组合降维后得到数据的特征表示。其中深度学习算法在各种学习任务中都可以取得良好的效果,而且可以学到很好的数据特征表示。但现有深度学习算法或模型大多为单机串行实现,不能处理较大规模的数据且运行时间较长。本文设计实现了一种基于Spark分布式平台的高效并行自动编码机,该编码机可以有效地进行特征表示学习,并且利用分布式计算平台Spark对算法进行加速,优化了对稀疏数据的操作,大大提升了运行效率。本文通过在文本数据特征学习以及协同过滤两个任务上的实验,表明本文所实现的并行自动编码机的有效性和高效性。

主 题 词：自动编码机 Spark 机器学习 深度学习 特征学习 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.16337/j.1004-9037.2018.01.008

馆 藏 号：203284610...