摘要：深度神经网络在模型训练阶段易受到后门攻击,在训练图文检索模型时,如有攻击者恶意地将带有后门触发器的图文对注入训练数据集,训练后的模型将被嵌入后门。在模型推断阶段,输入良性样本将得到较为准确的检索结果,而输入带触发器的恶意样本会激活模型隐藏后门,将模型推断结果恶意更改为攻击者设定的结果。现有图文检索后门攻击研究都是基于在图像上直接叠加触发器的方法,存在攻击成功率不高和带毒样本图片带有明显的异常特征、视觉隐匿性低的缺点。提出了结合扩散模型的图文检索模型后门攻击方法(Diffusion-MUBA),根据样本图文对中文本关键词与感兴趣区域(ROI)的对应关系,设计触发器文本提示扩散模型,编辑样本图片中的ROI区域,生成视觉隐匿性高且图片平滑自然的带毒训练样本,并通过训练模型微调,在图文检索模型中建立错误的细粒度单词到区域对齐,把隐藏后门嵌入到检索模型中。设计了扩散模型图像编辑的攻击策略,建立了双向图文检索后门攻击模型,在图-文检索和文-图检索的后门攻击实验中均取得很好的效果,相比其他后门攻击方法提高了攻击成功率,而且避免了在带毒样本中引入特定特征的触发器图案、水印、扰动、局部扭曲形变等。在此基础上,提出了一种基于目标检测和文本匹配的后门攻击防御方法,希望对图文检索后门攻击的可行性、隐蔽性和实现的研究能够抛砖引玉,推动多模态后门攻防领域的发展。

摘要：针对multiattention network(MANet)算法与图像语义信息关联不足、全局特征提取不充分和分割精度较低的问题,基于Transformer与注意力机制,提出一种增强浅层网络语义信息,具有融合局部和全局上下文的双分支解码器的网络结构,即Transformer multiattention network(TransMANet)。首先,引入局部注意力嵌入机制,增强上下文信息的嵌入,并将高级特征的语义信息嵌入低级特征;然后,设计基于Transformer与卷积神经网络的双分支解码器,分别提取全局上下文信息和不同尺度的细节信息,对全局与局部信息建模;最后,改进原有的损失函数,缓解遥感数据集类别不平衡的问题,提高分割准确度。实验结果表明,TransMANet在UAVid、LoveDA、Potsdam和Vaihingen数据集上均取得了较MANet及其他有竞争力的先进方法更优的交并比指标,有较好的泛化能力。

摘要：现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。

摘要：简洁非交互式零知识证明能够生成长度固定的证明并快速进行验证,极大地推动了零知识证明在数字签名、区块链及分布式存储等领域的应用。但其证明的生成过程极其耗时且需要被频繁调用,其中数论变换是证明生成过程的主要运算之一。然而现有的通用数论变换硬件加速方法难以满足其在简洁非交互式零知识证明中大规模、高位宽的要求。针对该问题,提出一种数论变换多级流水硬件计算架构。针对高位宽计算需求对高位模运算进行优化,设计了低时延蒙哥马利模乘单元;为了加速大规模计算,通过二维子任务划分将大规模数论变换任务划分为小规模独立子任务,并通过消除数据依赖实现了子任务间计算流水;在子任务多轮蝶形运算之间采用数据重排机制,有效缓解了访存需求并实现了不同步长蝶形运算间的计算流水。所提出的数论变换计算架构可以根据现场可编程门阵列(FPGA)片上资源灵活扩展,方便部署在不同规模的FPGA上以获得最大加速效果。所提出的硬件架构使用高层次综合(HLS)开发并基于OpenCL框架在AMD Xilinx Alveo U50实现了整套异构加速系统。实验结果表明,相比于PipeZK中的数论变换加速模块,该方法获得了1.95倍的加速比;在运行当前主流的简洁非交互式零知识证明开源项目bellman时,相比于AMD Ryzen 95900X单核及12核分别获得了27.98倍和1.74倍的加速比,并分别获得了6.9倍、6倍的能效提升。

摘要：针对期望最大化注意(EMA)算法参数与图像的语义关联不足以及缺少对通道间信息关注的问题,本文提出一种双重注意力网络EMA+算法。该算法设计了2个模块:空间注意力模块和通道注意力模块。空间注意力模块以EMA算法为主体架构,在责任估计步骤采用特征图作为期望最大化(EM)算法的初始参数,增加参数与特征图语义上的关联。通道注意力模块使用高效通道注意力(ECA),通过使用一维卷积学习通道之间交互信息,避免由于降维操作导致的破坏通道与其权重之间的直接对应关系。EMA+通过融合空间注意力模块和通道注意力模块,显著提高了语义分割任务的性能。实验结果表明,EMA+在PASCAL VOC2012和一些更复杂的数据集上均取得了较EMANet等方法更优的交并比指标,有较好的泛化能力。

摘要：图像放大应用场景广泛,使用插值的图像放大计算速度块,但基于插值的放大处理放大效果一般,基于卷积神经网络模型的图像放大效果优秀,但是处理速度不够,本文采用一种简易的双层模型实现图像放大,并通过FPGA设计实现双层模型硬件加速器,在PYNQ-Z1板卡上通过软件方式调用双层模型加速器进行图像放大,从而实现了软硬件协同的图像放大系统,本文设计的图像放大系统比三次卷积插值处理速度快22%,放大效果上PSNR高0.76,有着明显的视觉提升效果。

摘要：受到移动设备计算能力和存储资源受限的局限,设计高效、高精度的人脸检测器是一个开放性的挑战.因此,文中提出融合多尺度特征的轻量级人脸检测算法(Lightweight Face Detection Algorithm with Multi-scale Feature Fusion,LFDMF),摒弃被视为人脸检测核心组件的多级检测结构.首先,利用现有的轻量级主干特征提取网络编码输入图像.然后,利用提出的颈部网络扩张特征图感受野,并将含有不同感受野的多尺度信息融至单级特征图中.最后,利用提出的多任务敏感检测头对该单级特征图进行人脸分类、回归和关键点检测.相比分而治之的人脸检测器,LFDMF精度更高、计算量更少.LFDMF按模型计算量高低可构建3个不同大小的网络,大模型LFDMF-L在Wider Face数据集上性能较优,中等模型LFDMF-M和小模型LFDMF-S以极低的模型参数量和计算量实现可观性能.

摘要：在现有的红外和可见光图像融合方法中,融合图像中的细节信息丢失严重,视觉效果不佳.针对上述问题,文中提出基于差异双分支编码器的多阶段图像融合方法.通过两支不同结构的编码器提取多模态图像的特征,增强特征的多样性.设计多阶段的融合策略,实现精细化图像融合.首先,在差异双分支编码器中,对两个编码分支提取的差异性特征进行初级融合.然后,在融合阶段,对多模态图像的显著性特征进行中级融合.最后,使用远程横向连接将差异双分支编码器的浅层特征传送给解码器,同时指导融合过程和图像重建.对比实验表明,文中算法可增强融合图像的细节信息,并在视觉效果和客观评价上都较优.

摘要：大规模限量弧路由问题(large scale capacitated arc routing problem,LSCARP)是一个组合优化问题,应用广泛,采用分治策略是解决LSCARP的有效方法之一.首先,为了利用分治策略取得更优的分解结果,提出改进路径切割算子来求解LSCARP,其能够自动识别路径集合中形态较差的路径并对其有针对性地进行切割,从而在迭代中通过将切割后的路径进行重组以获得更优的分解,有利于算法跳出局部最优取得更小的最终费用;然后,针对LSCARP的结构会影响算法最终效果的问题,设计一种自适应数据集检测算子,其能够根据LSCARP中任务边与非任务边的关系来进行参数分配从而提高分解质量;最后,将以上2个算子应用于SHAiD算法,并与当前主流相关算法进行对比.实验结果表明了所提出算法的有效性.

摘要：近年来交通标志检测任务得到了广泛的关注,然而现有方法常无法满足检测实时性要求,并且现有方法在检测小尺度交通标志时存在较多漏检情况,为此,提出融合注意力机制和上下文信息的实时交通标志检测算法。该算法以YOLOv5为基准模型,首先,在主干网络中嵌入空间注意力机制自适应地强化关键位置的特征,抑制干扰信息,提高主干网络的特征提取能力;其次,设计跨阶段局部窗口Transformer模块用于学习不同位置间信息的关联性,捕获交通标志周围丰富的上下文信息,有助于提高小尺度交通标志的检测精度;再次,提出轻量的特征融合网络对不同尺度的特征图进行融合,减少计算量的同时确保有效的特征融合;最后,在后处理阶段提出高斯加权融合方法修正检测框,进一步提高定位精度。在TT100K和DFG交通标志检测数据集上的实验表明,提出的算法有效地改善了小尺度交通标志的漏检情况,具有较高的准确性和实时性,可以满足实际场景的交通标志检测需求。