Spark平台下电影推荐系统的设计

作     者：李光明 房靖力 Li Guangming;Fang Jingli

作者机构：陕西科技大学电子信息与人工智能学院陕西西安710021 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2020年第37卷第11期

页      码：28-34页

摘      要：传统基于Hadoop或单机下基于Mahout构建的电影推荐系统面对数据量不断增大以及推荐算法模型需要大量迭代的情况时,会出现推荐效果差、运行速度明显下降、无法实时为用户进行个性化推荐的情况。针对以上问题,以电影评分数据集为背景,使用Hadoop、Spark、Kafka、Hive等大数据处理技术进行系统架构搭建,并采用改进后的余弦相似性的协同过滤和基于用户喜爱物品的物品协同过滤算法对MLlib协同过滤算法模型进行改进,对离线数据以及实时数据进行计算,产生TOP-N推荐结果,实现Spark平台下电影推荐系统。实验结果表明,在Spark平台下,该系统相较传统方法不仅数据处理速度和推荐准确性显著提升,而且稳定性更强。

主 题 词：Spark Hadoop MLlib 协同过滤 电影推荐系统 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-386x.2020.11.005

馆 藏 号：203988474...