摘要：在混合音频分离过程中,通常使用与音频信息相关的视觉信息引导混合音频分离,这些视觉信息包含人脸图像、嘴唇运动和面部地标等,目前的方法对这些视觉信息的利用还不充分,并且音频信息和对应的视觉信息之间的关联性较弱。本工作设计了一种基于多尺度自适应注意力机制的视听语音分离网络,该网络联合人脸图像、嘴唇运动和面部地标这些视觉信息引导混合音频进行分离,并设计了一种交叉注意融合模块,该模块可以融合嘴唇运动特征和面部地标特征以得到增强且互补的视觉表示。此外,音频信息和视觉信息之间的相关性较弱,本文还设计了一种多尺度自适应注意力机制,并将其加入语音分离网络解码器中,使音频信息和对应的视觉信息更好地相互关联。实验结果验证了该方法的有效性。

摘要：针对目标跟踪在遮挡和尺度变化等复杂背景下跟踪性能下降问题,联合稀疏约束、时间平滑约束以及增量投影非负矩阵分解,提出一种在线目标跟踪算法.首先利用非负矩阵分解学习一个基于部分表示的子空间,在此基础上添加稀疏约束提高处理遮挡能力,添加时间平滑约束提高算法的稳定性;然后用增量方式完成子空间的在线更新,减少算法计算量、提高外观模型更新效率;最后在粒子滤波框架下,以重构误差为基础改进了观测似然函数,将具有最大后验概率的候选目标作为目标在当前帧的图像区域.实验结果表明,在各种含有遮挡和尺度变化的视频中,该算法可以更稳定地跟踪目标.