基于自注意力的自监督深度聚类算法

作     者：韩洁 陈俊芬 李艳 湛泽聪 HAN Jie;CHEN Jun-fen;LI Yan;ZHAN Ze-cong

作者机构：河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002 北京师范大学珠海分校应用数学学院广东珠海519087 

基　　金：河北省引进留学人员资助项目(C20200302) 河北省自然科学基金(F2018201096) 广东省自然科学基金(2018A0303130026) 河北省社会科学基金项目(HB20TQ005) 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2022年第49卷第3期

页      码：134-143页

摘      要：近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响。但是,这些方法的泛化能力较差,在不同数据集使用不同的网络结构,聚类性能相比分类性能仍有很大的提升空间。为此,文中提出了一种基于自注意力的自监督深度聚类方法(Self-attention Based Self-supervised Deep Clustering,SADC)。首先设计一个深度卷积自编码器用于提取特征,并且用带噪声的输入数据训练该网络来增强模型的鲁棒性;其次引入自注意力机制,辅助网络捕获对聚类有用的信息;最后编码器部分结合K-means算法形成一个深度聚类器,用于进行特征表示和聚类分配,通过迭代更新网络参数来提高聚类精度和网络的泛化能力。在6个图像数据集上验证所提聚类算法的性能,并与深度聚类算法DEC,DDC等进行比较。实验结果表明,SADC能提供令人满意的聚类结果,而且聚类性能与DEC和DDC相当。总之,统一的网络结构在保证聚类精度的同时降低了深度聚类算法的复杂度。

主 题 词：深度卷积自编码器 图像聚类 特征表示 自注意力 计算复杂度 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.11896/jsjkx.210100001

馆 藏 号：203108699...