基于Spark的分布式时序分类学习模型

作     者：申彦 敬露艺 张士翔 SHEN Yan;JING Lu-yi;ZHANG Shi-xiang

作者机构：江苏大学信息管理与信息系统系江苏镇江212013 江苏大学管理学院江苏镇江212013 

基　　金：江苏省产学研合作基金项目(BY2021075) 国家自然科学基金项目(61702229) 教育部产学合作协同育人基金项目(201902128024) 江苏省基础研究计划(自然科学基金)基金项目(BK20150531) 全国统计科学研究基金项目(2016LY17) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2023年第44卷第4期

页      码：1042-1049页

摘      要：LearnNSE算法保留了所有基分类器进行集成,基分类器权重调整较慢,对长期累积大数据的分类学习效率不高,且仅关注累积大数据,缺乏对短时间内突发产生大数据的关注,为此在所提PFLearnNSE-Pruned-Age算法基础上,研究一种基于Spark的分布式时序分类学习模型DSCLM-spark。实验结果表明,DSCLM-spark能够取得非常接近、在许多场景下甚至优于LearnNSE的准确率,进一步提高集成分类学习的效率,兼顾短时产生及长时间累积的大数据,适用于对分类挖掘实时性要求较高的场合。

主 题 词：分类算法 大数据挖掘 集成学习 增量学习 非稳定环境 分布式系统 计算机集群 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2023.04.012

馆 藏 号：203121199...