嵌入和梯度双向压缩的高效纵向联邦学习

作     者：张宇航 嵩天 ZHANG Yu-Hang;SONG Tian

作者机构：北京理工大学计算机学院北京100081 北京理工大学网络空间安全学院北京100081 

基　　金：国家重点研发计划(2022YFC3303500) 

出 版 物：《计算机系统应用》 (Computer Systems & Applications)

年 卷 期：2024年第33卷第10期

页      码：190-197页

摘      要：纵向联邦学习在不泄露数据隐私的前提下,通过联合多方本地数据特征,共同训练目标模型,提高数据利用价值,受到业界公司和机构的广泛关注.在训练过程中,客户端上传的中间嵌入及服务器返回的梯度信息需要巨大的通信量,通信成本成为限制其实际应用的关键瓶颈.如何通过有效的算法设计减少通信量、提高通信效率成为当前研究的热点之一.本文针对纵向联邦学习通信效率问题,提出基于嵌入和梯度双向压缩的高效压缩算法,对客户端上传的嵌入表示,采用改进的稀疏化方法并结合缓存重用机制,对服务器分发的梯度信息,采用离散量化与哈夫曼编码结合的机制.实验结果表明,本文算法能够在准确率与无压缩场景保持相当的前提下,降低约85%的通信量,提高通信效率,减少整体训练时间.

主 题 词：纵向联邦学习 通信效率 嵌入压缩 梯度压缩 稀疏化 量化 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 0839[0839] 081104[081104] 08[工学] 0835[0835] 081201[081201] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.15888/j.cnki.csa.009656

馆 藏 号：203144191...