摘要：深度神经网络训练时可能会受到精心设计的后门攻击的影响.后门攻击是一种通过在训练集中注入带有后门标志的数据,从而实现在测试时控制模型输出的攻击方法.被进攻的模型在干净的测试集上表现正常,但在识别到后门标志后,就会被误判为目标进攻类.当下的后门攻击方式在视觉上的隐蔽性并不够强,并且在进攻成功率上还有提升空间.为了解决这些局限性,提出基于奇异值分解的后门攻击方法.所提方法有两种实现形式:第1种方式是将图片的部分奇异值直接置零,得到的图片有一定的压缩效果,这可以作为有效的后门触发标志物.第2种是把进攻目标类的奇异向量信息注入到图片的左右奇异向量中,也能实现有效的后门进攻.两种处理得到的后门的图片,从视觉上来看和原图基本保持一致.实验表明,所提方法证明奇异值分解可以有效地利用在后门攻击算法中,并且能在多个数据集上以非常高的成功率进攻神经网络.

摘要：深度神经网络在模型训练阶段易受到后门攻击,在训练图文检索模型时,如有攻击者恶意地将带有后门触发器的图文对注入训练数据集,训练后的模型将被嵌入后门。在模型推断阶段,输入良性样本将得到较为准确的检索结果,而输入带触发器的恶意样本会激活模型隐藏后门,将模型推断结果恶意更改为攻击者设定的结果。现有图文检索后门攻击研究都是基于在图像上直接叠加触发器的方法,存在攻击成功率不高和带毒样本图片带有明显的异常特征、视觉隐匿性低的缺点。提出了结合扩散模型的图文检索模型后门攻击方法(Diffusion-MUBA),根据样本图文对中文本关键词与感兴趣区域(ROI)的对应关系,设计触发器文本提示扩散模型,编辑样本图片中的ROI区域,生成视觉隐匿性高且图片平滑自然的带毒训练样本,并通过训练模型微调,在图文检索模型中建立错误的细粒度单词到区域对齐,把隐藏后门嵌入到检索模型中。设计了扩散模型图像编辑的攻击策略,建立了双向图文检索后门攻击模型,在图-文检索和文-图检索的后门攻击实验中均取得很好的效果,相比其他后门攻击方法提高了攻击成功率,而且避免了在带毒样本中引入特定特征的触发器图案、水印、扰动、局部扭曲形变等。在此基础上,提出了一种基于目标检测和文本匹配的后门攻击防御方法,希望对图文检索后门攻击的可行性、隐蔽性和实现的研究能够抛砖引玉,推动多模态后门攻防领域的发展。

摘要：自编码器端到端通信系统无需显式地设计通信协议,比传统模块式通信系统复杂性更低,且灵活性和鲁棒性更高。然而,自编码器模型的弱可解释性也给端到端通信系统带来了新的安全隐患。实验表明,在信道未知且解码器单独训练的场景下,通过在信道层添加精心设计的触发器就可以让原本表现良好的解码器产生误判,并且不影响解码器处理不含触发器样本时的性能,从而实现针对通信系统的后门攻击。文中设计了一种触发器生成模型,并提出了将触发器生成模型与自编码器模型进行联合训练的后门攻击方法,实现动态的触发器的自动生成,在增加攻击隐蔽性的同时提升了攻击成功率。为了验证所提方法的有效性,分别实现了4种不同的自编码器模型,考察了不同信噪比、不同投毒率、不同触发器尺寸以及不同触发信号比场景下的后门攻击效果。实验结果表明,在6dB信噪比下,针对4种不同的自编码器模型,所提方法的攻击成功率与干净样本识别率均超过92%。

摘要：目的图像后门攻击是一种经典的对抗性攻击形式,后门攻击使被攻击的深度模型在正常情况下表现良好,而当隐藏的后门被预设的触发器激活时就会出现恶性结果。现有的后门攻击开始转向为有毒样本分配干净标签或在有毒数据中隐蔽触发器以对抗人类检查,但这些方法在视觉监督下很难同时具备这两种安全特性,并且它们的触发器可以很容易地通过统计分析检测出来。因此,提出了一种隐蔽有效的图像后门攻击方法。方法首先通过信息隐藏技术隐蔽图像后门触发,使标签正确的中毒图像样本(标签不可感知性)和相应的干净图像样本看起来几乎相同(图像不可感知性)。其次,设计了一种全新的后门攻击范式,其中毒的源图像类别同时也是目标类。提出的后门攻击方法不仅视觉上是隐蔽的,同时能抵御经典的后门防御方法(统计不可感知性)。结果为了验证方法的有效性与隐蔽性,在ImageN et、MNIST、CIFAR-10数据集上与其他3种方法进行了对比实验。实验结果表明,在3个数据集上,原始干净样本分类准确率下降均不到1%,中毒样本分类准确率都超过94%,并具备最好的图像视觉效果。另外,验证了所提出的触发器临时注入的任意图像样本都可以发起有效的后门攻击。结论所提出的后门攻击方法具备干净标签、触发不可感知、统计不可感知等安全特性,更难被人类察觉和统计方法检测。

摘要：神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。

摘要：半监督图学习旨在使用给定图中的各种先验知识推断未标记节点或图的类别,通过提升数据标注的自动化,使其具有较高的节点分类效率。作为一种深度学习架构,半监督图学习也面临后门攻击威胁,但目前尚未出现对半监督图节点分类任务有效的后门攻击方法。文中提出了一种针对半监督图节点分类模型的持久性清洁标签后门攻击方法,通过在未标记的训练数据上自适应地添加触发器和对抗扰动生成中毒样本,并在不修改标签的情况下训练得到中毒的半监督图节点分类模型。而攻击者可以较为隐蔽地对模型进行投毒,且投毒率不高于4%。同时为了保证后门在模型中的持久性,设计了一种超参数调节策略以选择最佳的对抗扰动尺寸。在多个半监督图节点分类模型与开源数据集上进行的大量实验,结果表明所提方法的攻击成功率最高可达96.25%,而模型在正常样本上的分类精度几乎没有损失。

摘要：深度学习利用强大的特征表示和学习能力为金融、医疗等多个领域注入新的活力,但其训练过程存在安全威胁漏洞,攻击者容易通过操纵训练集或修改模型权重执行主流后门攻击:数据中毒攻击与模型中毒攻击。两类攻击所产生的后门行为十分隐蔽,后门模型可以保持干净样本的分类精度,同时对嵌入攻击者预定义触发器的样本呈现定向误分类。针对干净样本与触发器样本在拟合程度上的区别,提出一种基于自定义后门行为的触发器样本检测方案BackDetc,防御者自定义一种微小触发器并执行数据中毒攻击向模型注入自定义的后门,接着通过嵌入自定义触发器设计一种输入样本扰动机制,根据自定义触发器的透明度衡量输入样本的拟合程度,最终以干净样本的拟合程度为参照设置异常检测的阈值,进而识别触发器样本,不仅维持资源受限用户可负担的计算开销,而且降低了后门防御假设,能够部署于实际应用中,成功抵御主流后门攻击以及威胁更大的类可知后门攻击。在MNIST、CIFAR-10等分类任务中,BackDetc对数据中毒攻击与模型中毒攻击的检测成功率均高于目前的触发器样本检测方案,平均达到99.8%以上。此外,论文探究了检测假阳率对检测性能的影响,并给出了动态调整BackDetc检测效果的方法,能够以100%的检测成功率抵御所有分类任务中的主流后门攻击。最后,在CIFAR-10任务中实现类可知后门攻击并对比各类触发器样本检测方案,仅有BackDetc成功抵御此类攻击并通过调整假阳率将检测成功率提升至96.2%。

摘要：联邦学习(federated learning)由于参数服务器端只收集客户端模型而不接触客户端本地数据,从而更好地保护数据隐私.然而其基础聚合算法FedAvg容易受到拜占庭客户端攻击.针对此问题,很多研究提出了不同聚合算法,但这些聚合算法存在防守能力不足、模型假设不贴合实际等问题.因此,提出一种新型的拜占庭鲁棒聚合算法.与现有聚合算法不同,该算法侧重于检测Softmax层的概率分布.具体地,参数服务器在收集客户端模型之后,通过构造的矩阵去映射模型的更新部分来获取此模型的Softmax层概率分布,排除分布异常的客户端模型.实验结果表明:在不降低FedAvg精度的前提下,在阻碍收敛攻击中,将拜占庭容忍率从40%提高到45%,在后门攻击中实现对边缘后门攻击的防守.此外,根据目前最先进的自适应攻击框架,设计出专门针对该聚合算法的自适应攻击,并进行了实验评估,实验结果显示,该聚合算法可以防御至少30%的拜占庭客户端.

摘要：为了分析和设计标准模型下安全的签名方案,避免签名方案的设计中出现类似的安全性问题。通过对标准模型下的无证书签名方案和前向安全的基于证书签名方案的分析,发现该签名方案容易受到替换公钥攻击和后门攻击,攻击者可以对任意的消息产生一个有效签名。对这些攻击给出了具体分析,同时探讨了克服这类攻击的方法。研究结果表明,这些攻击方法对于同类签名的分析与设计有借鉴意义。