融合语义分割和三维点云分析的果园障碍物实时重构方法

作     者：林桂潮 徐垚 曾文勇 王明龙 殷瑞涵 丁力行 朱立学 LIN Guichao;XU Yao;ZENG Wenyong;WANG Minglong;YIN Ruihan;DING Lixing;ZHU Lixue

作者机构：仲恺农业工程学院机电工程学院广州510225 

基　　金：国家自然科学基金资助项目(32101632) 广东省基础与应用基础研究基金项目(2023A1515011496) 梅州市科技计划项目(2023A0304055) 广东省重点建设学科科研能力提升项目(2022ZDJS024) 

出 版 物：《农业工程学报》 (Transactions of the Chinese Society of Agricultural Engineering)

年 卷 期：2024年第40卷第16期

页      码：180-187页

摘      要：针对果园障碍物识别和重构存在实时性差的问题,该研究以番石榴果园为例,提出了融合语义分割和三维点云分析的果园障碍物实时重构方法。首先,以DeepLabV3+为基础,使用MobileNetV3-large作为骨干网络以实时提取特征图,结合上下文Transformer注意力丰富特征图细节和语义信息,进一步提出基于Sobel算子的边缘辅助损失函数以提升障碍物分割精度;在此基础上,运用体素化法将枝干三维点云重构为大量立方体,构建基于欧式聚类的果实三维重构方法,设计一种融合逆投影变换和交并比的重构评价指标。试验结果表明:该方法对障碍物语义分割的平均交并比为77.2%,比Xception-DeepLabV3+提高7.0个百分点;平均帧速为78.8帧/s;该方法对枝干和果实的重构交并比分别为56.6%和65.7%,平均重构时间分别为0.84 s和0.34 s。该研究实时性和精度较高,满足水果采摘机器人实时避障作业需求。

主 题 词：果园 三维点云 障碍物 语义分割 DeepLabV3+ 体素化 

学科分类：082804[082804] 08[工学] 0828[工学-建筑类] 

核心收录：

D　O　I：10.11975/j.issn.1002-6819.202404129

馆 藏 号：203140349...