基于最优传输理论的联合分布匹配方法及应用

作     者：曹杰彰 莫朗元 杜卿 国雍 赵沛霖 黄俊洲 谭明奎 CAO Jie-Zhang;MO Lang-Yuan;DU Qing;GUO Yong;ZHAO Pei-Lin;HUANG Jun-Zhou;TAN Ming-Kui

作者机构：华南理工大学软件学院广州510006 腾讯AI Lab广东深圳518054 

基　　金：广东省重点领域研发计划项目(2018B010107001) 国家自然科学基金重点项目(61836003) 广东省珠江人才计划创新创业团队(2017ZT07X183) 中央高校基本科研业务费专项资金(D2191240) 腾讯人工智能实验室犀牛鸟重点研究项目(JR201902)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2021年第44卷第6期

页      码：1233-1245页

摘      要：联合分布匹配问题是机器学习和计算机视觉领域的研究热点之一.该问题旨在学习双向映射以匹配两个域的联合分布,目前仍然面临两个重要挑战:第一:两个不同域之间的相关性信息难以被充分利用.第二:联合分布匹配问题难以建模和优化.基于最优传输理论,本文通过最小化两个域间联合分布的Wasserstein距离来解决上述挑战.首先,本文提出一个定理将难以求解的Wasserstein距离原问题转化为一个简单的优化问题,并设计了一个联合Wasserstein自编码器模型(JWAE)来求解该问题.然后,本文将JWAE成功应用在无监督图像翻译和跨域视频合成任务中,并生成高质量的图像和连贯的视频.实验结果表明,JWAE在两种任务中的定性和定量指标上均优于现有方法.比如,在“街景→语义分割”图像翻译任务中,JWAE的IS值比CycleGAN高0.59,FID值比CycleGAN小65.8.在“冬季→夏季”跨域视频合成任务中,JWAE的FID4video值比Slomo-Cycle小2.2.

主 题 词：联合分布匹配 最优传输理论 Wasserstein距离 无监督图像翻译 跨域视频合成 

学科分类：0810[工学-土木类] 0808[工学-自动化类] 0839[0839] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 081202[081202] 

核心收录：

D　O　I：10.11897/SP.J.1016.2021.1233

馆 藏 号：203103446...