基于多模态关系建模的三维形状识别方法

作     者：陈浩楠 朱映映 赵骏骐 田奇 CHEN Hao-Nan;ZHU Ying-Ying;ZHAO Jun-Qi;TIAN Qi

作者机构：深圳大学计算机与软件学院广东深圳518060 华为技术有限公司广东深圳518172 

基　　金：国家自然科学基金(62072318) 广东省自然科学基金(2021A1515012014) 深圳市科技研发资金重点项目B类(20220810142553001) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第5期

页      码：2208-2219页

摘      要：为了充分利用点云和多视图两种模态数据之间的局部空间关系以进一步提高三维形状识别精度,提出一个基于多模态关系的三维形状识别网络,首先设计多模态关系模块(multimodal relation module,MRM),该模块可以提取任意一个点云的局部特征和一个多视图的局部特征之间的关系信息,以得到对应的关系特征.然后,采用由最大池化和广义平均池化组成的级联池化对关系特征张量进行处理,得到全局关系特征.多模态关系模块分为两种类型,分别输出点-视图关系特征和视图-点关系特征.提出的门控模块采用自注意力机制来发现特征内部的关联信息,从而将聚合得到的全局特征进行加权来实现对冗余信息的抑制.详尽的实验表明多模态关系模块可以使网络获得更优的表征能力;门控模块可以让最终的全局特征更具判别力,提升检索任务的性能.所提网络在三维形状识别标准数据集ModelNet40和ModelNet10上分别取得了93.8%和95.0%的分类准确率以及90.5%和93.4%的平均检索精度,在同类工作中处于先进水平.

主 题 词：三维形状识别 关系建模 多模态学习 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.007026

馆 藏 号：203127524...