基于M-estimator函数的加权深度随机配置网络

作     者：丁世飞 张成龙 郭丽丽 张健 丁玲 DING Shi-Fei;ZHANG Cheng-Long;GUO Li-Li;ZHANG Jian;DING Ling

作者机构：中国矿业大学计算机科学与技术学院江苏徐州221116 矿山数字化教育部工程研究中心(中国矿业大学)江苏徐州221116 天津大学智能与计算学部天津300350 

基　　金：国家自然科学基金(62276265 61976216 62206297 61672522)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2023年第46卷第11期

页      码：2476-2487页

摘      要：深度随机配置网络(Deep Stochastic Configuration Network,DSCN)是一种增量式随机化学习模型,具有人为干预程度低、学习效率高和泛化能力强等优点.但是,面向噪声数据回归与分析时,传统的DSCN易受到异常值影响,从而降低了模型的泛化性.因此,为提高噪声数据回归的精度和鲁棒性,提出了基于M-estimator函数的加权深度随机配置网络(Weighted Deep Stochastic Configuration Networks,WDSCN).首先,选取Huber和Bisquare 2个常用的M-estimator函数计算样本权重,利用加权最小二乘法和L2正则化策略替代最小二乘来更新WDSCN输出权重,以降低异常值对WDSCN的负面影响;其次,为提高WDSCN模型表征能力,设计了一种随机配置稀疏自编码器(Stochastic Configuration Sparse Autoencoder,SC-SAE),SC-SAE基于DSCN其独有的监督机制随机分配输入参数,采用基于L1正则化的目标函数,并利用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)计算SC-SAE输出权重;然后,为获取有效的特征表示,利用SC-SAE生成特征的随机性和多样性,采用多个SC-SAE进行特征学习并融合,用于WDSCN模型训练;最后,在真实数据集上的实验结果表明,WDSCN-Huber、WDSCN-Bisquare相比于DSCN、SCN以及RSC-KDE、RSC-Huber、RSC-IQR、RSCN-KDE、WBLS-KDE和RBLS-Huber等加权模型具有更高的泛化性能和回归精度.

主 题 词：深度随机配置网络 异常数据 鲁棒性 回归 随机神经网络 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2023.02476

馆 藏 号：203124209...