摘要：遥感影像具有多尺度对象、复杂背景、不均衡类别等特点。基于卷积神经网络(CNN)的语义分割算法难以捕捉到影像的全局特征,导致分割效果不佳。针对以上问题,利用Swin Transformer的全局特征提取能力,提出了双编码端高分辨率遥感影像语义分割算法DEGFNet。设计特征融合模块(FFB)将Swin Transformer捕获的全局特征引入编码端,应对多尺度对象带来的挑战。在Swin Transformer中设计空间交互模块(SIB),降低复杂背景样本带来的负面影响;在解码端引入全局-局部注意力模块(GLTB)和特征细化模块(FRB),来更好地利用编码端提取的信息,提高语义分割的精确性;采用交叉熵损失和Dice Loss组成的混合损失函数训练模型,减轻样本类别不均衡带来的消极影响。在Vaihingen数据集上,宏观平均F1值(mF1)、平均交并比(mIoU)和整体准确率(OA)指标分别达到91.9%、84.8%和92.4%;在LoveDA数据集上,mIoU指标达到55.0%,均展现出了更好的语义分割效果和良好的泛化性。

摘要：语义分割技术致力于精确识别并分割图像中的各个物体或场景.基于RGB图像的方法在信息利用上存在局限,导致性能受限,随着深度传感器技术的普及,深度图的引入为语义分割网络注入了丰富的几何信息,显著地提升了分割精度.文中介绍了近几年基于RGB-D图像的语义分割方面的显著进展和相关方法,根据对多模态融合特征处理方式的差异,将基于RGB-D图像的语义分割方法归纳为单分支、双分支、三分支网络架构3大类.其中,单分支网络在同一分支同时处理RGB和深度特征,实现特征的有机结合;双分支网络利用RGB和深度特征之间的互补性,优化多模态特征的校正与融合;三分支网络在保留原始的RGB和深度特征的同时,深入挖掘融合特征,确保信息的全面性.同时,总结注意力、模型优化等关键技术,并归纳常用的数据集和评价指标,对比分析各种方法在不同数据集上的性能,最后总结当前RGB-D图像语义分割在多模态数据交互与处理方面所面临的挑战,展望了语义分割技术在跨领域数据融合方向的发展前景.

摘要：主流语义分割方法存在针对遮挡、重叠导致的分割效果不佳和类间边界分割缺失等问题。为此,设计了一种基于可见光与红外融合图像的多尺度补丁嵌入和多路径交叉注意力语义分割方法,实现了多类别目标的高精度完整分割。首先,采用多层深度可分离卷积组成的补丁嵌入模块提取多尺度语义表征信息;然后,使用并行处理模式的多路径交叉注意力模块基于补丁嵌入阶段的全局上下文信息构建完整序列模型,在同一层级实现从粗粒度到细粒度信息的特征表示;最后,在解码器阶段设计了一个多层渐进交互模块,对编码器阶段获取的多尺度特征采用逐层交互后渐进融合的方式聚合多类语义信息和空间信息,克服了类间分割边界不完整和类内分割不一致的难点。实验结果表明:在基于可见光与红外融合图像组成的数据集的语义分割实验中,所提方法整体性能优于目前的主流分割方法。

摘要：融合深度学习的语义同步定位与地图构建技术为处理动态场景提供了有效的解决方案,但仍面临计算资源消耗大和模型复杂度高的挑战。为此,提出了一种基于BlendMask改进的轻量化语义分割网络。首先,设计了一种轻量的GDS-ECA卷积(Ghost-depthwise separable convolution with efficient channel attention)模块,利用深度可分离卷积替代Ghost卷积中的少量卷积操作,减少参数量和计算量,并添加注意力机制提升特征表达能力。其次,提出了特征提取网络BGTNet(bottleneck GDS-ECA attention transformer network),将GDS-ECA卷积应用于颈部模块的卷积层以提升网络的提取精度;此外,将特征金字塔网络(feature pyramid network,FPN)中的传统卷积替换为GDS-ECA卷积,构建轻量化特征金字塔网络,并结合BGTNet形成语义分割网络的主干网。最后在数据集COCO上进行了实验验证,改进后的模型处理图像时间缩短了7.3 ms,平均精度提升了1.5%。

摘要：针对目前点云语义分割算法通常采用简单的串联三维原始坐标信息方式建模几何信息,导致建模不完整问题.提出了交叉融合自注意力网络,在该网络的编码层中设计了交叉融合自注意力机制模块,通过交互学习坐标和特征信息,提高局部细粒度特征描述能力,使得几何信息建模更加完整.同时为了更好地结合浅层与高层特征,提出了一种层级特征融合模块,通过自适应地连接网络不同层,实现不同层的特征整合.在S3DIS、Semantic3D和SemanticKITTI数据集上实验表明:该算法优于RandLA-Net等先进算法.

摘要：高分辨率遥感图像语义分割在土地规划和智慧城市领域具有广泛应用。为准确快速地完成遥感图像语义分割,提出了一种基于深度特征聚合网络的语义分割方法。首先利用基础特征表示层获取不同分辨率的特征图信息,再利用中间特征聚合层和深层特征聚合层融合不同分辨率和尺度的特征图,最后通过特征聚合模块进行特征拼接,并输出精确的语义分割结果。在高分辨率遥感图像数据集Vaihingen和Postdam上的实验结果显示,该方法能精确分割不同场景下的遥感图像,优于现有多种遥感图像语义分割方法。

摘要：随着深度学习技术的发展和图像场景理解需求的提升,基于现场可编程门阵列(field programmable gate array,FPGA)部署语义分割网络,为用户提供低延迟、高能效的边缘端智能服务成为研究热点。针对语义分割网络结构中计算和存储密集型特点,构建基于FPGA的定制计算结构是研究的重点问题。鉴于此,本文在归纳总结语义分割网络基本原理和计算结构特点的基础上,分别从面向硬件资源约束的模型压缩方法和定制硬件架构设计两个角度阐述基于FPGA的语义分割网络加速计算方法,并重点对硬件架构设计中的计算结构设计和内存访问优化的典型方法进行总结。最后,展望了语义分割网络FPGA加速计算方法的发展趋势,以期为语义分割、边缘计算、定制高能效计算以及其他相关领域的研究者提供设计参考。

摘要：遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.

摘要：当前图像语义分割研究基本围绕如何提取有效的语义上下文信息和还原空间细节信息两个因素来设计更有效算法.现有的语义分割模型,有的采用全卷积网络结构以获取有效的语义上下文信息,而忽视了网络浅层的空间细节信息;有的采用U型结构,通过复杂的网络连接利用编码端的空间细节信息,但没有获取高质量的语义上下文特征.针对此问题,本文提出了一种新的基于上下文和浅层空间编解码网络的语义分割解决方案.在编码端,采用二分支策略,其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息,而空间分支设计成反U型结构,并结合链式反置残差模块,在保留空间细节信息的同时提升语义信息.在解码端,本文设计了优化模块对融合后的上下文信息与空间信息进一步优化.所提出的方法在3个基准数据集CamVid、SUN RGB-D和Cityscapes上取得了有竞争力的结果.

摘要：在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。