大数据下基于Spark的电商实时推荐系统的设计与实现

作     者：岑凯伦 于红岩 杨腾霄 无

作者机构：上海海事大学信息工程学院上海201306 上海海事大学交通运输学院上海201306 上海纽盾科技有限公司研发部上海200092 

基　　金：国家自然科学基金(No.61562056) 教育部人文社科青年基金资助项目(No.13YJC630210) 2014年上海市科技型技术创新基金项目(No.1401H164800) 上海市杨浦区国家创新型试点城区建设与管理专项资金项目(No.2015YPCX03-002) 

出 版 物：《现代计算机》 (Modern Computer)

年 卷 期：2016年第22卷第16期

页      码：61-69页

摘      要：大数据下基于Hadoop平台构建的电商推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题。针对以上问题,设计和实现基于Spark平台的电商实时推荐系统。与Hadoop平台构建的推荐系统相比,系统首先基于Spark平台构建了分布式日志采集模块和分布式日志数据传输模块,用于采集和传输用户隐式行为日志,解决电子商务跨系统数据源收集问题;其次在统一数据源的基础上,采用基于Spark的矩阵分解推荐模型进行离线训练,提升离线推荐训练的效率;进而在离线推荐的基础上,提出一种使用Spark Streaming实时流技术对电商日志数据做实时过滤,获取用户当前所需商品,并将离线推荐结果与实时推荐结果通过统一介质融合的方案,实现对用户隐式行为进行实时推荐反馈的功能。最后经实验证明,基于Spark平台的电商实时推荐系统相对于Hadoop平台的电商推荐系统具有更高的可靠性和稳定性,能够承载大规模数据量,离线推荐训练速度相对于Hadoop平台提高10倍,并且对用户的实时行为也能够作出实时推荐反馈,提升5%的交易转化率,增强电商网站的用户体验。

主 题 词：大数据 Spark平台 Hadoop平台 实时推荐 用户隐式行为 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-1423.2016.24.015

馆 藏 号：203188985...