摘要：针对现有融合毫米波雷达与传统机器视觉的车辆检测算法准确率较低与实时性较差的问题,本文中对多目标检测与跟踪进行研究。首先,利用阈值筛选和前后帧数据关联方法对毫米波雷达数据进行预处理,进而提出一种用于毫米波雷达数据跟踪的自适应扩展卡尔曼滤波算法。然后,为提高目标检测精度与速度,基于采集到的实车数据集训练卷积神经网络,完成深度视觉的多车辆检测。最后,采用决策级融合策略融合毫米波雷达与深度视觉信息,设计了一种用于复杂交通环境下前方车辆多目标检测与跟踪的框架。为验证所设计的框架,进行了不同交通环境下的实车实验。结果表明:该方法可实时检测跟踪前方车辆,具有比融合毫米波雷达与传统机器视觉的车辆检测方法更好的可靠性与鲁棒性。

摘要：针对工作面液压支架姿态传统接触式测量方法存在的传感器数量多、故障率高、解算误差大、可视性差等问题,建立了一种基于支架运动机理的液压支架姿态视觉测量模型,提出了一种基于深度视觉原理的液压支架支撑高度与顶梁姿态角测量方法,并搭建了测量系统。该测量方法通过在液压支架顶梁上布设RGB-D相机,利用深度视觉技术获取液压支架底座彩色信息和深度信息并实现二者数据流的同步,通过ORB算法和FLANN算法实现底座特征点的快速提取与匹配,基于空间3D-3D的ICP模型估计相邻时刻相机位姿变化,结合液压支架姿态视觉测量模型设计姿态解算算法完成支撑高度和顶梁姿态角参数解算。测量实验结果表明:该方法液压支架姿态参数解算速度快,稳定性好,实现了液压支架内部姿态的非接触实时性监测,同时该姿态解算算法可保证液压支架支撑高度测量绝对误差在10 mm左右,顶梁姿态角测量绝对误差在2°以内,精度上能够满足井下液压支架姿态监测精度需求;此外,该方法减少了支架上传感器的数量,降低了安装与维修成本,为实现工作面综采设备运行位姿状态信息的精准感知与动态监测,以及智能化工作面的精准实时控制提供了技术支撑。

摘要：煤矿井下移动机器人是煤矿机器人的主力军,煤矿井下移动机器人的自主导航是其研究的难点和热点。目前,煤矿井下移动机器人自主导航所必须的三维环境数据库尚未形成,尤其是制作高分辨率、多信息融合的煤矿井下高精度地图还处于研究阶段。为了有效解决煤矿井下移动机器人自主导航问题,构建了基于深度相机的机器视觉系统,提出了一种基于深度视觉的导航方法,自主导航过程分为地图创建与自主运行两个阶段。在地图创建中:①对深度视觉数据进行特征提取与匹配,利用10组煤矿井下真实视频截图,对比测试5种特征提取与匹配组合算法,结果表明SURF+SURF+FLANN与GFTT+BRIEF+BF算法能够在煤矿井下获得良好匹配结果;②建立煤矿井下移动机器人深度视觉定位与建图问题的捆集调整迭代最近点图模型(Iterative Closest Points Bundle Adjustment,ICP BA);③通过图优化方式估计当前观测下的最优位姿与环境路标点坐标。在实验室场景中利用提出的ICP-BA图优化算法,建立了包含关键位姿与三维环境点的原始点云地图。在自主运行阶段:①通过八叉树数据结构,将点云地图转化为移动机器人运动规划可使用的Octomap导航地图,实验结果表明,Octomap导航地图分辨率可调、系统资源占用低、索引效率高;②使用三维到二维映射的视觉图匹配PNP(Perspective N Points)方法进行实时在线重定位;③基于图搜索的A*(A Star)路径规划作为轨迹规划初值,自定义最小化能量损失泛函为最小化加加速度的变化率(Minimum-Snap)求解2次规划问题,生成用于煤矿井下移动机器人运动执行的轨迹。在Matlab开发环境中设计随机导航地图,生成时间分配、位置、速度、加速度、加加速度的最优轨迹规划结果,验证了运动规划算法的正确性。通过理论分析和实验验证,表明笔者提出的煤矿井下移动机器人深度视觉自主导航方法的有效性。

摘要：针对我国目前煤矿辅助作业自动化水平不高,相关设备智能化程度低的现状,文章开展了煤矿井下多轴机械臂控制系统研究,包括两个方面:基于嵌入式Linux操作系统、多源传感器信号采集,分析与融合处理、多轴液压机械臂及其控制系统,智能算法等技术,设计研发了多轴机械臂感知与控制系统;基于多轴机械臂感知与控制系统采集的红外视频图像和激光雷达点云数据,提出基于深度视觉的管架目标识别方法,在实际煤矿井下巷道管架场景下,能够有效识别和标注巷道中管路与管架,展现了所提出方法应用于实际煤矿井下管道辅助安装的潜力。

摘要：实验教学是培养本科生实践和创新能力的重要手段。将虚拟仿真技术应用于传感器检测类课程的实验教学,对于教育发展具有极高的应用价值。文章基于LabVIEW虚拟仿真软件设计了移动机器人障碍物检测实验平台,在Kinect相机标定的基础上,经坐标转换与图像配准得到空间三维点云数据,能够实时显示彩色图像、深度图像与三维点云信息,可实现障碍物实时检测功能,有助于学生提升学习兴趣,加深对专业知识与实验原理的理解。

摘要：针对现有的毫米波雷达与视觉融合的碰撞预警算法误警率与漏警率较高等问题,提出了一种基于毫米波雷达与视觉融合的碰撞预警方法。首先基于距离速度阈值与生命周期方法对毫米波雷达数据进行预处理,并提出基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪;利用加入改进的CBAM双通道注意力机制YOLOv5算法提高视觉识别的准确率。然后运用交并比的思想实现毫米波雷达与视觉的决策级融合。最后基于最小安全距离模型提出前碰撞预警策略。通过不同场景下的实车验证结果表明:该算法比单传感器算法更加准确,具有更好的鲁棒性。

摘要：探索了小鼠在排除透视、遮挡等空间深度的线索下,是否是依靠视觉目标的尺寸大小来感知空间深度.小鼠放置于可以调节高度的高台上,高台位于仅底面有光线照明、四周黑暗的实验箱内.将由格子构成底部面板的尺寸设计为小鼠估计高度距离的唯一线索,设置了3个空间尺度的底板,分别按2/3的比例缩小,并设置7个高度.在同一高度下每测试一轮即对底板的尺寸进行随机变换.记录小鼠跳落前在高台上停留的时间,研究小鼠对高度的判断是否受到底板尺寸的影响.结果表明所有大小线索条件下小鼠在高台上停留的时间随高度的增加而延长.在20～30cm的高度范围,小鼠不以大小为线索的信息来判断深度,可能主要以双眼视差产生的深度信息来判断高度.而在小于20cm和大于30cm的高度范围,特别是在更高的距离上如50cm、60cm和70cm,小鼠以目标大小信息为线索来对深度进行判断,以弥补在这些条件下双眼深度信息的不足.在理论上说这是由于小鼠只有三分之一的(中央)视野为双眼视野区.实验的行为范式可以应用到以转基因鼠为模式生物的实验中,以研究此类行为与基因之间的关系.

摘要：针对室内环境下移动行人的跟踪问题,提出一种基于单目视觉和深度视觉传感信息融合的移动目标跟踪方法。首先利用单目视觉图像信息实现目标检测,并完成目标的语义分割;然后将单目视觉与深度视觉进行联合标定,通过深度相机获得识别目标的深度信息;最后,基于对目标跟踪实时性、准确性的需求,针对单目视觉P3P(perspective-3-point)解算在目标较远时误差较大、深度相机识别帧率较慢的问题,设计了一种基于多相机信息融合的移动目标跟踪方法,将单目视觉获得的距离信息与深度视觉提取的深度信息进行了基于卡尔曼滤波的异步融合,实现对目标运动状态的准确估计。结果表明,该算法实现了对视野内行人目标位置实时检测和跟踪效果,具有高效的目标识别和跟踪能力。

摘要：传统的电网基建工程通常采用光学摄像头进行监控拍摄,并由人工完成分析。针对该方式易受雨雪和环境光照的影响且无法准确判断线路铺设质量的问题,提出了一种基于机器视觉的电力工程质量监控方法。该方法使用双目摄像系统代替光学摄像头来完成输电线路的深度图像采集,采集到的图像中所包含的信息量大,硬件铺设成本也较低。同时使用YOLOv3深度框架对图像进行特征识别与分析,其能够自动、准确地识别输电线路的各个部件。实验结果表明,文中所设计的监控系统拥有较高的准确率,相比于其他对比算法,线路小部件的识别准确率有明显的提升,且算法具有良好的收敛性,训练速度快、效率高。

摘要：针对激光雷达采集数据时,由于会受到外界的干扰因素、扫描精度等负面影响,会使采集到的点云数据空间密度相差较大、存在着很大的噪声和孔洞,使得分析结果不能直接描绘实际物体的模型的问题,本文研究设计了一种基于二进制占网格的点云数据处理算法。首先将分割完成后的点云采用二进制网格的方式聚类进行降维处理,再将点云映射到网格单元中实现不同物体点云的快速聚集。最后,基于寻找出的点云主方向旋转点云从而.建立紧致随动的障碍物包围盒。通过实验验证,该方法能够在保证聚类精度的同时提高运算速度,其建立包围盒能够准确地反映障碍物的尺寸,具有良好的实时性与随动性,对移动机械臂自主避障提供了可靠的信息。