面向数据混合分布的联邦自适应交互模型

作     者：郭松岳 王阳谦 柏思远 刘永恒 周骏 王梦鸽 廖清 Guo Songyue;Wang Yangqian;Bai Siyuan;Liu Yongheng;Zhou Jun;Wang Mengge;Liao Qing

作者机构：哈尔滨工业大学(深圳)计算机科学与技术学院广东深圳518055 鹏城实验室广东深圳518055 上海浦东发展银行上海200002 

基　　金：广东省基础与应用基础研究重大项目(2019B030302002) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2023年第60卷第6期

页      码：1346-1357页

摘      要：联邦学习作为一种新兴的分布式机器学习方法,保证了物联网(Internet of things,IoT)设备在数据不出本地的前提下,仅通过传递模型参数来共同维护中央服务器模型,从而达到保护数据隐私安全的目的.传统的联邦学习方法常常在基于设备数据独立同分布的场景下进行联合学习.然而,在实际场景中各设备间的数据样本分布存在差异,使得传统联邦学习方法在非独立同分布(non-independent and identically distributed,Non-IID)的场景下效果不佳.面向Non-IID场景下的混合数据分布问题,提出了新型的联邦自适应交互模型(federated adaptive interaction model,FedAIM)框架,该框架可以同时对不同偏置程度的混合数据进行自适应地交互学习.具体来说,首先,通过引入陆地移动距离(earth mover s distance,EMD)对各客户端的数据分布进行偏置程度度量(bias measurement),并设计极偏服务器和非极偏服务器2个模块分别处理不同偏置程度的数据分布.其次,提出了基于信息熵的模型参数交互机制,使得FedAIM可以有效地聚合极偏服务器和非极偏服务器产生的模型参数,从而有效提高模型的准确率和减少服务器之间的交互轮次.经实验表明,FedAIM在Non-IID混合数据分布场景下的MNIST,Fashion-MNIST,CIFAR-10,SVHN,FEMNIST数据集上准确率均优于已有方法.

主 题 词：机器学习 联邦学习 非独立同分布 信息熵 自适应模型 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081203[081203] 08[工学] 081104[081104] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.202111090

馆 藏 号：203122165...