摘要：针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。

摘要：面向人-机器人交互共融环境对机械臂仿人运动规划的重大需求,本文提出了一种基于强化学习的机器人手臂仿人运动规划方法。首先,基于人体手臂的结构特征,设计了体现机械臂运动特性的肩夹角、肘夹角和腕关节运动角,并采用正态性和相关性分析方法,对VICON运动捕捉系统获取的人体手臂运动数据进行分析,以获取人臂运动特性规则。然后,根据不同的运动特性规则,设计对应的回报函数,并采用强化学习方法进行机械臂仿人运动模型的训练。最后,搭建机械臂仿人运动平台,实验统计仿人运动的成功率为91.25%,验证了所提规划方法的可行性和有效性,可用于提高机械臂运动的仿人性。

摘要：针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

摘要：为有效解决移动机器人重定位问题,提出一种融合深度学习和粒子滤波的机器人重定位方法。首先,提出了3自由度移动机器人重定位方法架构,主要包含重定位模型构建和机器人在线重定位两个递进阶段;其次,在PoseNet基础上提出并构建了针对3自由度移动机器人的重定位网络模型GPoseNet,并将由GPoseNet预测的位姿结果作为粒子滤波定位算法的初始化状态,支撑后续重定位过程;然后,提出了一种基于数据模型的机器人绑架状态判定方法,以确定是否启动重定位过程;最后,在公开数据集上与实际环境中做了大量实验验证了此方法,结果表明:GPoseNet模型能够保证一定的位置预测精度并提升了姿态角预测精度,机器人重定位成功率达到87%。

摘要：基于低精度视觉设备布置环境,提出了一种融合随机森林模型的单目视觉人体定位方法。首先,采用OpenPose网络模型提取图像中的人体骨架信息,设计人体跟踪与关联算法,保证人体骨架信息的稳定性与正确性,进而通过设计定位特征筛选条件,从骨架信息中选取合适的人体定位特征;其次,通过分析定位特征与骨架关节点之间的关系,构建并训练以人体定位特征点为样本标签属性的随机森林回归模型;然后,融合获取的目标骨架信息以及训练所得的随机森林模型,计算人体空间定位特征参数,并采用视觉相机几何约束模型实现对人体目标位置的定位;最后,搭建单目视觉人体目标定位平台,验证所提方法的可行性及有效性,所提方法采用实时预测等效焦距的方式,其径向定位平均误差为4 cm,在存在遮挡等极端问题时,平均误差也可以控制在10 cm以内。

摘要：在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。

摘要：针对工业自动化领域对无线数据通信的需求以及国内基于切普扩频技术(CSS)的无线短程网络研究太少的现状,从实际应用角度出发,设计了一种基于IEEE802.15.4a标准的工业无线短程网络节点,给出了硬件设计电路图和软件流程图。在所设计的硬件平台基础上,采用CSMA/CA的介质访问控制策略进行组网通信测试,在强电磁干扰的环境中所设计的无线节点能够稳定运行,实时性能满足设计要求,可将该无线节点应用于实际的无线工业现场。

摘要：根据人手结构设计一种五指仿人灵巧手。该灵巧手共有5根手指,总计16个自由度。灵巧手的手指关节虚拟化,手指更加轻量。灵巧手采用欠驱动方式,并将驱动系统内置,整体结构集成度高,易于安装到不同的机械臂平台。在理论研究上,通过齐次变换矩阵得到灵巧手的运动学模型,进而得到五指的运动轨迹,并进而对灵巧手控制策略进行探讨,之后对灵巧手进行手势与抓取实验,实验表明灵巧手能完成夹、捏、握等10种动作。把灵巧手应用在不同的机械臂平台上,验证了灵巧手的抓取范围广及其在不同环境下的抓取能力。

摘要：针对网络化高精度测量定位中的测量规模大、通信约束复杂以及处理信号协同困难等问题,基于线性CCD的空间定位原理,研究带有交叉相关噪声和传输时滞的不确定网络化系统的信息融合估计问题。提出了一种基于Kalman滤波的分布式感知和集中式融合的估计方法,应用测量转换策略,采用两层加权融合理论,设计了最优加权融合估计方法。减轻了处理传输延迟的通信负担和计算复杂度,提高了抵抗噪声干扰的鲁棒性能,进而减少信息冗余,并保持较高的测量精度。实验部分验证了该方法的有效性。

摘要：提出了一种低精度视觉设备布置环境下的单目视觉人体动态定位方法,通过构建的人体定位多元回归预测模型,建立人体从2D图像空间到3D位置空间的映射关系,无需对视觉相机进行内外参数标定。首先,采集人体的2D图像序列和3D坐标位置序列,构建时间同步的视觉人体定位样本集;其次,通过人体骨架检测算法提取样本集中2D图像的人体骨架信息,进而选取并构建适用于人体定位的关键特征;然后,训练基于多元回归的人体定位模型,采用基于L1惩罚项的嵌入型特征选择方法和K-fold交叉验证方法,在模型训练过程中实现特征选择和超参数估计;最后,对获取的人体定位模型进行定位误差评估,实验结果表明模型的均方根定位误差为2.95 cm,验证了所提方法的可行性及有效性。