面向语言模型的全自动单元结构搜索

作     者：万全 吴霖 余正涛 WAN Quan;WU Lin;YU Zheng-tao

作者机构：昆明理工大学信息工程与自动化学院昆明650500 昆明理工大学云南省人工智能重点实验室昆明650500 

基　　金：国家自然科学基金项目(61761026,61972186,61732005,61672271,61762056)资助 国家重点研发计划项目(2019QY1802,2019QY1801,2019QY1800)资助 云南省重大科技专项计划项目(201606)资助 云南省重大科技专项计划项目(202002AD080001)资助 云南省基础研究计划项目(201901S070057,2018FB104)资助 昆明理工大学省级人培项目(KKSY201703005)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2022年第43卷第11期

页      码：2308-2313页

摘      要：可微神经网络结构搜索(DARTS)是目前主流的神经结构搜索(Neural architecture search,NAS)方法之一,但大多数基于DARTS的方法都应用于计算机视觉领域,在自然语言处理领域的研究相对较少.语言模型是目前NAS在自然语言领域应用较多的任务,DARTS在应用于语言模型任务时,会先对输入进行人工处理,整个过程为:输入-人工处理-结构搜索-输出,不满足NAS不靠人工干预,让机器自动设计网络结构的初衷.本文在DARTS的基础上提出了一种基于全自动搜索单元的NAS方法:1)移除结构搜索前的人工处理过程,实现整个单元搜索过程自动化;2)增加节点和操作数量抵消移除人工处理过程带来的模型规模和复杂度降低的影响;3)Softmax决策优化.本文提出的方法实现了单元搜索过程全自动化,搜索到的模型结构也在PTB和WT2数据集上取得了一定的竞争性.

主 题 词：神经网络结构搜索 语言模型 自然与语言处理 DARTS 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.20009/j.cnki.21-1106/TP.2021-0249

馆 藏 号：203115508...