混合变分自编码

作     者：陈亚瑞 蒋硕然 杨巨成 赵婷婷 张传雷 Chen Yarui;Jiang Shuoran;Yang Jucheng;Zhao Tingting;Zhang Chuanlei

作者机构：天津科技大学计算机科学与信息工程学院 

基　　金：国家自然科学基金项目(61402332,61402331,11803022) 天津市自然科学基金项目(17JCQNJC00400,18JCQNJC69800) 天津市高等学校科技发展基金项目(2017KJ034,2017KJ035,2018KJ106) 天津科技大学青年教师基金项目(2017LG10)~~ 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2020年第57卷第1期

页      码：136-144页

摘      要：变分自编码(variational autoencoder,VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder,MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.

主 题 词：变分自编码 混合模型 变分推理 折棍参数化 生成模型 

学科分类：0810[工学-土木类] 12[管理学] 1201[管理学-管理科学与工程类] 0808[工学-自动化类] 0839[0839] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2020.20190204

馆 藏 号：203881856...