熵启发的分级可微分网络架构搜索

作     者：李建明 陈斌 孙晓飞 LI Jianming;CHEN Bin;SUN Xiaofei

作者机构：中国科学院成都计算机应用研究所成都610041 中国科学院大学北京100049 哈尔滨工业大学(深圳)国际人工智能研究院广东深圳518055 

基　　金：广东省云计算与大数据管理技术重大科技专项(2017B030306017) 

出 版 物：《哈尔滨工业大学学报》 (Journal of Harbin Institute of Technology)

年 卷 期：2021年第53卷第8期

页      码：22-28页

摘      要：网络架构是影响卷积神经网络性能的重要因素,由于传统的人工设计方法效率较低,通过算法自动设计网络架构的方法受到了越来越多的关注。可微分网络架构搜索(DARTS)方法,能高效地自动设计网络架构,但其超网络的构建和架构派生策略也存在不足之处。针对其不足之处,本文提出了改进算法。首先,通过量化分析该算法搜索过程中跳连(skip)操作数量的变化,发现共享架构参数的设置导致DARTS算法的超网络存在耦合问题;其次,针对超网络的耦合问题,设计了元胞(cell)分级的超网络,以避免不同层级间cell的相互影响;然后,针对超网络与派生架构在性能表现上存在“鸿沟”的问题,引入架构熵作为目标函数的损失项,以启发超网络的训练。最后,在CIFAR-10数据集上进行架构搜索实验,并分别在CIFAR-10和ImageNet上进行了架构评测实验。在CIFAR-10上的实验结果表明,本文提出的算法解除了不同层级cell间的耦合,提升了自动设计的架构性能,取得了仅2.69%的分类错误率;该架构在ImageNet上的分类错误率为25.9%,实验结果表明搜得的架构具有良好的迁移性。

主 题 词：网络架构搜索 可微分架构搜索 分级超网络 架构熵 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11918/202011092

馆 藏 号：203104649...