摘要：在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆(LSTM)网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征(MFSK)+视觉词袋(BoVW)+支持向量机(SVM)网络相比提高了21.02个百分点。

摘要：对于包含成百上千可移动声源的虚拟场景,由于聚类阶段所需运算代价过高,传统的空间声音渲染方案往往需要占用过多的运算资源。这已经成为VR音频渲染技术发展的瓶颈。本文在声音采样的过程中运用分数阶傅里叶变换这一工具,降低了模数转换阶段的量化噪声。此外,通过在聚类这一步骤中添加平均角度偏差阈值的方法提高了声音处理的运算速度,改善了整个系统的运算效率。设计并进行一项感知用户实验,证实了在可视情况下,人对不同类声源聚类产生的空间误差更加敏感这一观点。根据这一结论,本文提出了一种新的空间声音聚类方法,在可视情况下降低了不同类声源聚类为一组的可能性。

摘要：符号音乐的生成在人工智能领域中仍然是一个尚未解决的问题,面临着诸多挑战。经研究发现,现有的多音轨音乐生成方法在旋律、节奏及和谐度上均达不到市场所要求的效果,并且生成的音乐大多不符合基础的乐理知识。为了解决以上问题,提出一种新颖的基于Transformer的多音轨音乐生成对抗网络(Transformer-GAN),以乐理规则为指导来产生具有高音乐性的音乐作品。首先,采用Transformer的译码部分与在Transformer基础之上改编的Cross-TrackTransformer(CT-Transformer)分别对单音轨内部及多音轨之间的信息进行学习;然后,使用乐理规则和交叉熵损失相结合的方法引导生成网络的训练,并在训练鉴别网络的同时优化精心设计的目标损失函数;最后,生成具有旋律性、节奏性及和谐性的多音轨音乐作品。实验结果表明,与其他多乐器音乐生成模型相比,在钢琴轨、吉他轨及贝斯轨上,Transformer-GAN的预测精确度(PA)最低分别提升了12%、11%及22%,序列相似度(SS)最低分别提升了13%、6%及10%,休止符指标最低分别提升了8%、4%及17%。由此可见,Transformer-GAN在加入了CTTransformer及音乐规则奖励模块之后能有效提升音乐的PA、SS等指标,使生成的音乐质量整体上有较大的提升。

摘要：在5G不断商用背景的推动下,虚拟现实(Virtual Reality,VR)技术将在生活中的诸多场景中具有广阔的前景,并且目前基于VR技术已有诸多应用。然而,若需要在虚拟场景中实现近乎真实的体验,用户指令的输入和系统的实时反馈显得尤为重要。目前在VR场景中的主流指令输入方式通常由VR头戴设备相搭配的手柄等硬体实现,由于用户需要利用手动的方式操作手柄以实现对相关动作的实现,从而降低了用户在VR场景中的沉浸式体验。为了使得VR场景适用于更加自主化和现实化的需求,本文在直播平台的支持下,开发了基于Leap Motion的手势控制系统,并且实验结果表明了所设计的手势控制系统满足了在直播场景下的基本需求。