摘要：人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。

摘要：针对目前虚拟实验热触觉装置缺乏的现状,设计了一种基于PTC(Positive Temperature Coefficient)加热片的热触觉感知复现系统。该系统利用HTC VIVE的红外定位,将虚拟环境下热源的空间位置映射为现实环境下制热模块的空间位置。根据虚拟实验中不同位置和不同温度的热源,使用两个步进电机控制热源的位置和方向,并提供4个自由度的热源定位方法;使用PID控制算法控制PTC加热片产生热风的温度,获得不同的热触觉感知。该系统以一种非接触式的触觉感知来呈现虚拟实验的热触觉,保证了热触觉产生的真实性。通过铝热反应虚拟实验,验证该系统的实用性,结果表明该系统的热触觉再现能够提高虚拟实验的真实感受,补偿触觉上缺失的热反馈。

摘要：为解决现有的虚拟实验存在交互形式单一、设备昂贵、沉浸感不足等问题,提出多通道交互的虚拟实验平台。该平台借助增强现实技术实现并支持手势交互、温感与嗅觉多感知通道呈现。围绕平台的结构设计、手势交互的实现以及多感知通道呈现方面三个方面进行阐述。最后,通过两个虚拟实验对平台的易用性与实用性进行验证。结果表明平台交互自然,真实感强,能帮助学生掌握实验知识。