面向异构流式数据的高性能联邦持续学习算法

作     者：姜慧 何天流 刘敏 孙胜 王煜炜 JIANG Hui;HE Tianliu;LIU Min;SUN Sheng;WANG Yuwei

作者机构：中国科学院计算技术研究所北京100190 中国科学院大学计算机科学与技术学院北京100190 中关村实验室北京100084 

基　　金：国家重点研发计划基金资助项目(No.2021YFB2900102) 国家自然科学基金资助项目(No.62072436) 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2023年第44卷第5期

页      码：123-136页

摘      要：为了缓解提供智能服务的AI模型训练流式数据存在模型性能差、训练效率低等问题,在具有隐私数据的分布式终端系统中,提出了一种面向异构流式数据的高性能联邦持续学习算法(FCL-HSD)。为了缓解当前模型遗忘旧数据问题,在本地训练阶段引入结构可动态扩展模型,并设计扩展审核机制,以较小的存储开销来保障AI模型识别旧数据的能力;考虑到终端的数据异构性,在中央节点侧设计了基于数据分布相似度的全局模型定制化策略,并为模型的不同模块执行分块聚合方式。在不同数据集下多种数据增量场景中验证了所提算法的可行性和有效性。实验结果证明,相较于现有工作,所提算法在保证模型对新数据具有分类能力的前提下,可以有效提升模型对旧数据的分类能力。

主 题 词：异构数据 流式数据 联邦学习 联邦持续学习 灾难性遗忘 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11959/j.issn.1000−436x.2023102

馆 藏 号：203122340...