摘要：扩散语言模型是目前非自回归模型中最具潜力的语言模型,有望取代饱受推理速度缓慢问题拖累的自回归语言模型,实现高效且无损于质量的文本生成。文本摘要生成、机器翻译、对话生成等序列到序列的生成任务是扩散语言模型经常遇到的实际应用场景,如何更好更快地实现序列到序列的文本生成一直是自然语言处理领域的研究重点。为了实现上述目标,通过推导离散扩散模型训练目标的上界简化了扩散模型的训练过程,随后引入并改造了条件掩码语言模型的遮掩-预测解码策略作为扩散模型的推理算法,提升了模型的生成质量。为了进一步提升离散扩散模型在推理的前几轮生成文本的质量,还提出了正弦噪音调度,相比于原来的线性噪音调度,时间步中高噪音区间变得更大了,模型将更专注于学习如何从高噪音数据中恢复数据,从而提升在推理的前几轮中生成文本的质量。受到课程学习策略的启发,设计了新的时间步采样分布,通过操纵时间步的采样实现由易到难的学习。在公开数据集上的实验表明,提出的方法能有效提升模型的性能,在WMT16 EN-RO数据集上,扩散模型仅用自回归基线一半的推理时间,就能推理出相同生成质量的文本。

摘要：论文使用mask-predict解码扩展CMLMs模型,研究了藏汉神经机器翻译方法。并且针对该模型进行改进。在不同领域藏汉数据集上,经过实验,与非自回归模型NAT和标准的Transformer模型进行比较,在不降低解码速度的情况下,与非自回归模型相比提升了4个BLEU以上;与标准的Transformer模型相比能够达到甚至超过Transformer模型性能,同时解码速度更快。