基于深度学习的Spark电影推荐系统设计

作     者：关凯轩 禹素萍 

作者机构：东华大学信息科学与技术学院上海201620 

出 版 物：《科学技术创新》 (Scientific and Technological Innovation)

年 卷 期：2021年第32期

页      码：131-135页

摘      要：传统的推荐算法,如协同过滤等只能进行输入特征之间的简单组合,不能很好的挖掘特征之间的隐含信息,表达能力不强,很难为用户提供个性化推荐,近些年来深度学习在推荐系统领域的应用取得了很好的推荐效果。本文主要采用DIN深度学习模型作为排序层算法,采用Embedding技术作为快速召回算法,并利用TensorFlow Server建立模型服务;采用HDFS,Spark,Kafka,Flink等大数据存储,传输,计算框架完成特征的存储、离线计算与实时计算,通过对用户历史行为以及实时特征的采集处理,结合推荐算法完成对用户的离线推荐与实时推荐,生成用户感兴趣的Top-N电影列表,通过SSM框架实现完整的推荐系统前后端搭建。该系统保证了运行时的稳定性,推荐实时性,并在一定程度上提升了推荐效果。

主 题 词：Spark TensorFlow DIN 电影推荐系统 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-1328.2021.32.047

馆 藏 号：203106295...