摘要：针对实时语义分割模型大量缩减参数造成特征空间信息损失,以及特征缺少上下文信息导致分割类别预测不准确的问题,提出一种基于空间信息引导的双分支实时语义分割算法。该算法采用双分支结构分别获取特征的空间信息和语义信息,为更好地保留空间信息,设计了一种空间引导模块(SGM),同时捕获特征的局部信息和周围上下文信息,并通过通道加权给予重要信息更高的权重,有效弥补了图像高分辨率特征在降采样过程中的信息损失;为进一步强化特征的上下文信息表征能力,设计了池化特征增强模块(PFEM),采用不同尺寸的池化核捕获多尺度特征信息,并采用条状池化核对特征之间的长距离依赖关系进行建模,更好地确定分割区域的类别。在Cityscapes和CamVid数据集上对所提算法进行验证,平均交并比分别达到77.4%和74.0%,检测速度分别达到49.1帧/s和124.5帧/s,在保证实时分割的情况下有效提升了精度,获得了良好的语义分割性能。

摘要：无人驾驶的一个重要组成部分是汽车行驶环境感知,使人们对可在低功耗移动设备上实时运行的高精度语义分割方法产生了强烈的需求.然而,在分析影响语义分割网络精度和速度的因素时可以发现,空间信息和上下文特征很难兼顾,而使用2路网络分别获取空间信息和上下文信息的方法,又会增加计算量及存储量.因此,提出从残差结构网络中划分出空间信息路径和上下文信息路径的想法,并基于此设计一个双路语义分割网络.该网络还含有用于融合2路多尺度特征的特征融合模块,以及用于优化上下文语义路径输出结果的注意力精炼模块.该网络基于PyTorch框架实现,使用NVIDIA1080Ti显卡进行实验,在道路场景数据集Cityscapes上,mIoU达到78.8%,运行速度达到27.5帧/s.

摘要：轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.

摘要：针对真彩色微血管减压图像实时语义分割网络参数量大、语义分割精度低的问题,本文提出了一种适用于微血管减压场景的U型轻量级快速语义分割网络U-MVDNet(U-Shaped Microvascular Decompression Network),该网络由编码解码结构构成。在编码器中设计了轻型非对称瓶颈模块(LABM)对上下文特征进行编码,解码器中引入了特征融合模块(FFM),有效组合高级语义特征和低级空间细节。实验结果表明:对于微血管减压测试集,U-MVDNet在单NVIDIA GTX 2080Ti上的参数量只有0.66 M,平均交并比(mIoU)达到了76.29%,速度达到140 frame/s,且当输入图像尺寸为640×480时,U-MVDNet在嵌入式平台NVIDIA Jetson AGX Xavier上实现了实时(24 frame/s)语义分割。本文方法未使用任何的预训练模型,参数量少且推理速度快,语义分割性能优于其他对比方法,在分割精度和速度上做到了良好的平衡。同时,还可以方便地在嵌入式平台上开发和应用,性能优越,易于部署。

摘要：针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。

摘要：针对现阶段很多实时语义分割算法分割精度低,尤其对边界像素分割模糊的问题,提出一种基于跨级注意力机制和多标签分类的高精度实时语义分割算法.首先基于DeepLabv3进行优化,使其达到实时运算速度.然后在此网络基础上增加跨级注意力模块,使深层特征为浅层特征提供像素级注意力,以抑制浅层特征中不准确语义信息的输出;并在训练阶段引入多标签分类损失函数辅助监督训练.在Cityscapes数据集和CamVid数据集上的实验结果表明,该算法的分割精度分别为68.1%和74.1%,分割速度分别为42帧/s和89帧/s,在实时性与准确性之间达到较好的平衡,能够优化边缘分割,在复杂场景分割中具有较好的鲁棒性.

摘要：针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.

摘要：卷积神经网络进行实时图像语义分割时,处理大片色彩变化较小的像素区域时会存在计算的空间冗余,同时轻量级网络进行特征提取时的精度较低。针对上述两个问题,利用改进后MobileNet v3和轻型高频采样(OTCHL)模块设计了一种实时语义分割网络。首先利用hard-swish激活函数对轻量级网络MobileNet v3进行精度补偿,提出改进后的MobileNet v3特征提取网络;其次基于八度卷积设计OTCH-L模块,解决空间冗余问题,在保证精度的同时,降低模型计算量。在Pascal VOC2012数据集上进行训练实验,并在Pascal VOC2007数据集上对模型进行验证。实验结果表明,所提模型分割速度达到25.94 frame/s,分割平均交并比(MIoU)达70.34%。相比主流语义分割模型SegNet、PSPNet、DeepLab v3 plus,所设计模型在维持分割精度的前提下,分割速度有显著提升。

摘要：语义分割是计算机视觉领域的一项像素级别的感知任务,目的是为图像中的每个像素分配相应类别标签,具有广泛应用。许多语义分割网络结构复杂,计算量和参数量较大,在对高分辨率图像进行像素层次的理解时具有较大的延迟,这极大限制了其在资源受限环境下的应用,如自动驾驶、辅助医疗和移动设备等。因此,实时推理的语义分割网络得到了广泛关注。本文对深度学习中实时语义分割算法进行了全面论述和分析。1)介绍了语义分割和实时语义分割任务的基本概念、应用场景和面临问题;2)详细介绍了实时语义分割算法中常用的技术和设计,包括模型压缩技术、高效卷积神经网络(convolutional neural network,CNN)模块和高效Transformer模块;3)全面整理和归纳了现阶段的实时语义分割算法,包括单分支网络、双分支网络、多分支网络、U型网络和神经架构搜索网络5种类别的实时语义分割方法,涵盖基于CNN、基于Transformer和基于混合框架的分割网络,并分析了各类实时语义分割算法的特点和局限性;4)提供了完整的实时语义分割评价体系,包括相关数据集和评价指标、现有方法性能汇总以及领域主流方法的同设备比较,为后续研究者提供统一的比较标准;5)给出结论并分析了实时语义分割领域仍存在的挑战,对实时语义分割领域未来可能的研究方向提出了相应见解。本文提及的算法、数据集和评估指标已汇总至https://***/xzz777/Awesome-Real-time-Semantic-Segmentation,以便后续研究者使用。

摘要：为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。