摘要：为了实现对室内高维度信息的获取和对机器人技术在实际应用上的探索,设计了一款基于ROS(Robot Operating System)和视觉SLAM(Simultaneous Localization and Mapping)的室内移动机器人。机器人采用差速驱动方式实现转向,以装有ROS系统的树莓派作为主要算力,利用rgb-d相机采集环境数据,在RTAB-MAP算法下实现同步定位与地图构建。实验测试结果表明,机器人可以实现室内构建地图和同步定位,完成导航任务,对视觉SLAM研究有重要意义。

摘要：随着现代工业化、自动化进程的加快,机器人在现代工业领域的应用愈发重要。智能机器人可以高效地完成搬运、移动等工作,而建立相机与机械臂坐标系之间的关系是实现以上任务的基础。通过dOBOT Magician与Intel realsense d435i建立了基于rgb-d相机的机械臂抓取系统。首先采用张正友标定法求出rgb-d相机的内参矩阵信息;然后通过实际场景的机械臂位置信息建立外参矩阵,通过矩阵逆求解得到外参矩阵信息;最后通过内外参矩阵信息得到相机坐标点对世界坐标点的转换关系,并控制机械臂完成对目标的抓取。经测试,该系统平均成功率为87.5%.

摘要：rgb-d相机作为一种常见的便携式三维数据采集工具被广泛使用于计算机图形学、计算机视觉等诸多领域,然而,由于设备的物理误差、光照干扰等因素,采集的三维点云中往往包含大尺度噪声,现有的点云配准方法处理这类数据时无法取得理想的配准结果,进而影响后续三维重建的质量.为了解决这一问题,提出一种鲁棒的基于rgb-d图像的刚性点云配准方法.首先,提出一种基于全变分和各向异性二阶算子的点法向估计方法,能够有效地去除点法向的噪声并且较好地保持尖锐和非线性光滑特征;其次,联合rgb图像的纹理信息和点云的几何信息设计了一种复合特征描述子,能够在包含噪声的点云上鲁棒地提取初始匹配点;最后,采用一种快速的全局配准方法计算待配准点云之间的刚性变换.在多组合成及真实点云数据上进行配准实验,并从视觉效果和配准误差2个方面对实验结果进行分析,分析结果表明,所提方法能够鲁棒地配准大噪声干扰的点云数据,验证了方法的有效性.

摘要：龙眼是我国华南地区重要的热带亚热带果树之一,传统的龙眼采摘大多依靠人工操作实现,其劳动力成本高、采摘效率低,易漏检小果实和被遮挡的果实,采摘机器人可解决这些问题。在机器人视觉技术中,针对龙眼进行实时检测和定位研究开发一种树上的龙眼检测与定位技术,对果实采摘机器人技术的发展有重要意义。针对龙眼体积小、与枝条颜色相近等检测难题,本研究设计了龙眼视觉检测试验,首先利用rgb-d相机获取龙眼的彩色和深度图像,并通过YOLOv5检测算法对图片进行检测,结果表明:龙眼图像的平均检测时间为0.024 s,模型的精确率为96.55%,召回率为92.02%,F1分数为0.942,且在一定程度上能抵抗果实数量和光照强度的变化,适应性强;其次设计了对比试验,在与YOLOv5同样的硬件配置下搭建Tensorflow框架和darknet框架,并在不同复杂场景下扩充龙眼数据集来训练YOLOv5、YOLOv4和Faster-RCNN 3个不同果实检测模型,结果表明YOLOv5可以很好地克服其他两种算法存在的问题。此外本研究通过设计龙眼的视觉空间定位试验,进行了三维坐标的计算,构建了x、y和z 3个坐标的中值误差曲线,3个坐标方向上的中值误差计算结果分别为5,6和10 mm,中值绝对偏差分别为3.7,3.3和5.1 mm,统计了图像的平均定位时间为0.071 s。研究表明该方法具有可行性,能为龙眼采摘机器人提供技术支持。

摘要：针对rgb-d相机拍摄目标的深度信息复杂导致rgb-d图像拼接出现错误的现象,提出一种基于深度信息改进的rgb-d图像拼接技术。首先使用像素比重与点云可视化密度联合的深度相机最优测量范围估计方法确定rgb-d相机拍摄目标的最优测量范围;其次设计一种深度值改进的特征匹配算法对rgb-d图像进行拼接;最后对拼接后的rgb-d图像进行质量分析并与使用传统拼接技术拼接后的图像进行对比。实验结果表明,改进后的图像拼接技术比传统拼接技术高效、准确,能较好地展现拍摄目标的纹理及深度信息。

摘要：针对相对封闭、磁干扰等特殊环境下传感器应用受限,导致爬壁机器人自主定位误差随时间累积的问题,该文提出并实现了一种基于外部rgb-d相机和惯性测量单元(inertial measurement unit, IMU)组合的爬壁机器人自主定位方法。该方法采用深度学习和核相关滤波(kernelized correlation filter, KCF)组合的目标跟踪方法进行初步位置定位;在此基础上,利用法向量方向投影的方法筛选出机器人外壳顶部的中心点,实现机器人定位中的位置定位。推导了机器人底盘法向量、横滚角与航向角的定量关系,设计了串联的扩展Kalman滤波器(extended Kalman filter, EKF)计算横滚角、俯仰角和航向角,实现机器人定位中的姿态估计。实验结果表明:该方法使爬壁机器人位置定位误差小于0.02 m,姿态估计的航向角和横滚角误差小于2.5°,俯仰角误差小于1.5°,有效地提高了爬壁机器人定位精度。

摘要：为实现对特定蜗壳工件的智能识别定位与拆垛,开展了对基于机器视觉的智能拆垛系统中关键技术的研究。首先,针对黑色吸光蜗壳工件使用rgb-d相机采集深度信息,设计了通过蜗壳摆放背景识别反推出各蜗壳所在位置的算法;其次,开发分块—分层的手眼标定方法,获取深度图像像素坐标系与机器人坐标系的相对空间位置关系;再次,通过末端吸盘吸力反馈控制以及设计邻域补偿抓取的方式,确保吸盘吸附工件的准确性和可靠性;最后,通过开展六层每层工件个数为4×4分布式物料拆垛实验,可实现机器人识别抓取定位误差平均值为7.6 mm,标准差为2.91 mm,满足实际生产中的拆垛需求。

摘要：针对基于单一传感器的移动机器人在建图与导航过程中定位精度低以及对环境描述能力有限的问题,开发了基于ROS(Robot Operating System)的多传感器感知的建图导航系统。首先搭建了具有全向性的四麦克纳姆轮移动底盘;其次分析了RTAB-MAP(Real-Time Appearance-Based Mapping)算法,并基于该算法对rgb-d相机、激光雷达和里程计信息进行数据融合,实现了室内环境的二维和三维地图的同时构建;然后提出了使用扩展卡尔曼滤波算法将编码器产生的里程计信息和IMU(Inertial Measurement Unit)数据进行融合,提高位姿的估计精度;最后根据融合后的数据对传统机器人导航框架进行了优化,完成了自主导航功能的设计。测试结果表明,该系统采用多传感器感知方案能够完成对室内场景的二维和三维地图的同时构建,提高了对环境的描述能力,通过扩展卡尔曼滤波融合后的数据使机器人定位精度有了明显提高,保证了导航的准确性。

摘要：在测距传感器不断轻量化、小型化以及室内外地图一体化导航应用的驱动下,三维（3d）室内移动测量成为当今研究和应用的热点,在室内建模、室内定位等新兴领域中的应用越来越广泛。3d室内移动测量系统通常配备激光扫描仪、全景相机、惯性测量单元（inertial measurement unit,IMU）系统和里程计等传感器,虽能实现3d室内点云数据的采集,但其距离传感器-激光扫描仪价格昂贵且便携性较差。彩色深度（rgb depth,rgb-d）相机为低成本3d室内移动测量系统构建提供了新的距离成像传感器选择,但主流型号rgbd相机视场角小,继而导致数据采集效率远低于传统激光扫描仪,难以做到点云数据的完整覆盖与稳健采集,且易造成同时定位与制图（simultaneous localization and mapping,SLAM）过程中跟踪失败。针对以上问题,构建了一种低成本室内3d移动测量系统采集设备,通过组合多台消费级rgb-d相机构成大视场rgb-d相机阵列,提出了一种阵列rgb-d相机内外参数标定方法,并通过实验检验了设计系统采集的点云数据的精度。