深度学习实时语义分割综述

作     者：高常鑫 徐正泽 吴东岳 余昌黔 桑农 Gao Changxin;Xu Zhengze;Wu Dongyue;Yu Changqian;Sang Nong

作者机构：华中科技大学人工智能与自动化学院武汉430074 类脑智能系统湖北省重点实验室武汉430074 北京三快科技有限公司(美团)北京100102 

基　　金：国家自然科学基金项目(62176097) 湖北省自然科学基金项目(2022CFA055) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2024年第29卷第5期

页      码：1119-1145页

摘      要：语义分割是计算机视觉领域的一项像素级别的感知任务,目的是为图像中的每个像素分配相应类别标签,具有广泛应用。许多语义分割网络结构复杂,计算量和参数量较大,在对高分辨率图像进行像素层次的理解时具有较大的延迟,这极大限制了其在资源受限环境下的应用,如自动驾驶、辅助医疗和移动设备等。因此,实时推理的语义分割网络得到了广泛关注。本文对深度学习中实时语义分割算法进行了全面论述和分析。1)介绍了语义分割和实时语义分割任务的基本概念、应用场景和面临问题;2)详细介绍了实时语义分割算法中常用的技术和设计,包括模型压缩技术、高效卷积神经网络(convolutional neural network,CNN)模块和高效Transformer模块;3)全面整理和归纳了现阶段的实时语义分割算法,包括单分支网络、双分支网络、多分支网络、U型网络和神经架构搜索网络5种类别的实时语义分割方法,涵盖基于CNN、基于Transformer和基于混合框架的分割网络,并分析了各类实时语义分割算法的特点和局限性;4)提供了完整的实时语义分割评价体系,包括相关数据集和评价指标、现有方法性能汇总以及领域主流方法的同设备比较,为后续研究者提供统一的比较标准;5)给出结论并分析了实时语义分割领域仍存在的挑战,对实时语义分割领域未来可能的研究方向提出了相应见解。本文提及的算法、数据集和评估指标已汇总至https://***/xzz777/Awesome-Real-time-Semantic-Segmentation,以便后续研究者使用。

主 题 词：实时语义分割 模型轻量化 高效模块设计 计算机视觉 深度学习 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.230659

馆 藏 号：203127806...