摘要：针对当前立体全景视频传输缺少有效的流自适应方法,且传统全景视频流自适应策略传输双目立体全景视频使得传输数据加倍,所需带宽巨大的问题,该文提出一种基于多智能体强化学习的立体全景视频非对称传输自适应流方法,以实时应对网络带宽波动。首先,根据人眼对视频显著性区域的偏爱,左右视点中每个瓦片(tile)对立体视频的感知质量的贡献度不同,提出一个基于tiles的左右视点观看概率预测方法。其次,设计了一种基于策略-评价(Actor-Critic)的多智能体强化学习框架,对左右视点进行联合码率控制。最后,根据模型结构和双目抑制原理,设计合理的奖励函数。实验结果表明,与传统流自适应传输策略相比,该文所提方法更加适用于基于tiles的立体全景视频传输,实现在有限带宽下提高用户的体验质量(QoE),为立体全景视频联合码率控制提供了一种全新的方法和思路。

摘要：VR技术给人们提供了一种沉浸式体验,但也造成了视频数据量的大幅增加。为了在有限的带宽下获得流畅的VR观看体验,基于机器学习在视频压缩和行为决策上的优良性能,利用机器学习中的深度学习和强化学习方法设计了一个自适应帧重建和传输方案,实现了在不降低视频感知质量的前提下流畅传输立体全景视频。