深度神经网络结构搜索综述

作     者：唐浪 李慧霞 颜晨倩 郑侠武 纪荣嵘 Tang Lang;Li Huixia;Yan Chenqian;Zheng Xiawu;Ji Rongrong

作者机构：厦门大学信息学院人工智能系媒体分析与计算实验室厦门361005 

基　　金：国家自然科学基金项目(U1705262,61772443,61572410,61802324,61702136) 国家重点研发计划项目(2017YFC0113000,2016YFB1001503) 江西省重点研发计划项目(20171ACH80022) 广东省联合基金重点项目(2019B1515120049) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2021年第26卷第2期

页      码：245-264页

摘      要：深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索(neural architecture search,NAS)主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在Image Net分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的Deep Labv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有Image Net预训练的情况下,达到比Deep Labv3+更高的平均交并比(mean intersection over union,mIOU),同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。

主 题 词：人工智能 计算机视觉 深度神经网络 强化学习 进化算法 神经网络结构搜索(NAS) 

学科分类：08[工学] 0835[0835] 0811[工学-水利类] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.200202

馆 藏 号：203102046...