融合图像信息的跨模态Transformer点云补全算法

作     者：何星 朱哲 燕雪峰 郭延文 宫丽娜 魏明强 He Xing;Zhu Zhe;Yan Xuefeng;Guo Yanwen;Gong Lina;Wei Mingqiang

作者机构：南京航空航天大学计算机科学与技术学院南京210016 南京大学计算机软件新技术国家重点实验室南京210023 

基　　金：国家自然科学基金(T2322012 62172217 62032011) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第7期

页      码：1026-1033页

摘      要：针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全,需要进行补全处理,而单模态方法存在的补全结果细节不丰富、结构不完整等问题,提出一种融合图像信息的跨模态Transformer点云补全算法.首先采用点云分支和图像分支分别提取点云特征和图像特征,其中,点云分支采用PoinTr为骨干网络,图像分支采用7层卷积;然后通过特征融合模块融合点云特征和图像特征,由粗到精地生成全分辨率的点云.在ShapeNet-ViPC数据集上进行实验的结果表明,所提算法的可视化结果优于单模态点云补全方法和目前仅有的跨模态点云补全方法ViPC,且在大部分测试类别上的CD-L_(2)量化指标优于ViPC;平均CD-L_(2)为2.74,比ViPC低17%.为了便于研究人员评估和使用,文中算法可通过https://***/Starak-x/ImPoinTr开源获取.

主 题 词：点云补全 Transformer 跨模态 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2024.19905

馆 藏 号：203128785...