基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计

作     者：赵鸿儒 乔秀全 谭志杰 李研 孙恒 ZHAO Hong-Ru;QIAO Xiu-Quan;TAN Zhi-Jie;LI Yan;SUN Heng

作者机构：北京邮电大学网络与交换技术国家重点实验室北京100876 山西省交通规划勘察设计院有限公司BIM研发中心太原030012 

基　　金：国家重点研发计划课题(2018YFE0205503) 国家自然科学基金重点国际合作项目(61720106007) 高等学校学科创新引智基地(B18008)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2022年第45卷第8期

页      码：1674-1686页

摘      要：传统的松耦合视觉惯性里程计需要标定噪声和偏置等参数,而端到端学习的方法耦合性高、普适性低.因此,本文提出了一种由长短期记忆网络融合的端到端松耦合视觉惯性里程计EE-LCVIO(End-to-End Loosely Coupled Visual-Inertial Odometry).首先,在相机位姿和IMU融合部分,构建了一个时序缓存器和由一维卷积神经网络和长短期记忆网络相结合的融合网络;其次,为了解决现有单目深度视觉里程计难以利用长序列时域信息的问题,通过使用相邻图像对和帧间密集光流作为输入,设计了一种基于时空双流卷积的视觉里程计TSVO(Visual Odometry with Spatial-Temporal Two-Stream Networks).与DeepVO最多只能利用5帧图像信息相比,本文提出的视觉里程计可以利用连续10帧图像的时序信息.在KITTI和EUROC数据集上的定性和定量实验表明,TSVO在平移和旋转方面超过了DeepVO的44.6%和43.3%,同时,在传感器数据没有紧密同步的情况下,本文的视觉惯性里程计EE-LCVIO优于传统单目OKVIS(Open Keyframe-based Visual-Inertial SLAM)的78.7%和31.3%,鲁棒性高.与现有单目深度视觉惯性里程计VINet相比,EE-LCVIO获得了可接受的位姿精度,耦合性低,无需标定任何参数.

主 题 词：视觉惯性里程计 双流融合 长短期记忆网络 松耦合 时序缓存器 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2022.01674

馆 藏 号：203113766...