高精度联邦学习模型的训练需要消耗大量的用户本地资源,参与训练的用户能够通过私自出售联合训练的模型获得非法收益.为实现联邦学习模型的产权保护,利用深度学习后门技术不影响主任务精度而仅对少量触发集样本造成误分类的特征,构建一...高精度联邦学习模型的训练需要消耗大量的用户本地资源,参与训练的用户能够通过私自出售联合训练的模型获得非法收益.为实现联邦学习模型的产权保护,利用深度学习后门技术不影响主任务精度而仅对少量触发集样本造成误分类的特征,构建一种基于模型后门的联邦学习水印(federated learning watermark based on backdoor,FLWB)方案,能够允许各参与训练的用户在其本地模型中分别嵌入私有水印,再通过云端的模型聚合操作将私有后门水印映射到全局模型作为联邦学习的全局水印.之后提出分步训练方法增强各私有后门水印在全局模型的表达效果,使得FLWB方案能够在不影响全局模型精度的前提下容纳各参与用户的私有水印.理论分析证明了FLWB方案的安全性,实验验证分步训练方法能够让全局模型在仅造成1%主任务精度损失的情况下有效容纳参与训练用户的私有水印.最后,采用模型压缩攻击和模型微调攻击对FLWB方案进行攻击测试,其结果表明FLWB方案在模型压缩到30%时仍能保留80%以上的水印,在4种不同的微调攻击下能保留90%以上的水印,具有很好的鲁棒性.展开更多
基于深度神经网络的目标检测技术已经广泛应用于各领域,然而,通过对抗补丁攻击在图像中添加局部扰动,以此来误导深度神经网络,对基于目标检测技术的视觉系统构成了严重威胁。针对这一问题,利用对抗补丁和图像背景的语义差异性,提出了一...基于深度神经网络的目标检测技术已经广泛应用于各领域,然而,通过对抗补丁攻击在图像中添加局部扰动,以此来误导深度神经网络,对基于目标检测技术的视觉系统构成了严重威胁。针对这一问题,利用对抗补丁和图像背景的语义差异性,提出了一种基于PatchTracker的对抗补丁防御算法,该算法由上游补丁检测器与下游数据增强模块组成。上游补丁检测器使用带有注意力机制的YOLOV5(you only look once-v5)确定对抗补丁所在位置,有助于提高对小尺度对抗补丁的检测精度;将检测区域用合适的像素值覆盖以抹除对抗补丁,上游补丁检测器不仅能够有效降低对抗样本的攻击性,而且不依赖大规模的训练数据;下游数据增强模块通过改进模型训练范式,提高下游目标检测器的鲁棒性;将抹除补丁后的图像输入经过数据增强的下游YOLOV5目标检测模型。在公开的TT100K交通标志数据集上进行了交叉验证,实验表明,与未采取防御措施相比,所提算法能够有效防御多种类型的通用对抗补丁攻击,在检测对抗补丁图像时的mAP(mean average precision)提高65%左右,有效地改善了小尺度对抗补丁的漏检情况。与现有算法比较,所提算法有效提高了神经网络在检测对抗样本时的准确率。此外,所提算法不涉及下游模型结构的修改,具有良好的兼容性。展开更多
文摘高精度联邦学习模型的训练需要消耗大量的用户本地资源,参与训练的用户能够通过私自出售联合训练的模型获得非法收益.为实现联邦学习模型的产权保护,利用深度学习后门技术不影响主任务精度而仅对少量触发集样本造成误分类的特征,构建一种基于模型后门的联邦学习水印(federated learning watermark based on backdoor,FLWB)方案,能够允许各参与训练的用户在其本地模型中分别嵌入私有水印,再通过云端的模型聚合操作将私有后门水印映射到全局模型作为联邦学习的全局水印.之后提出分步训练方法增强各私有后门水印在全局模型的表达效果,使得FLWB方案能够在不影响全局模型精度的前提下容纳各参与用户的私有水印.理论分析证明了FLWB方案的安全性,实验验证分步训练方法能够让全局模型在仅造成1%主任务精度损失的情况下有效容纳参与训练用户的私有水印.最后,采用模型压缩攻击和模型微调攻击对FLWB方案进行攻击测试,其结果表明FLWB方案在模型压缩到30%时仍能保留80%以上的水印,在4种不同的微调攻击下能保留90%以上的水印,具有很好的鲁棒性.
文摘基于深度神经网络的目标检测技术已经广泛应用于各领域,然而,通过对抗补丁攻击在图像中添加局部扰动,以此来误导深度神经网络,对基于目标检测技术的视觉系统构成了严重威胁。针对这一问题,利用对抗补丁和图像背景的语义差异性,提出了一种基于PatchTracker的对抗补丁防御算法,该算法由上游补丁检测器与下游数据增强模块组成。上游补丁检测器使用带有注意力机制的YOLOV5(you only look once-v5)确定对抗补丁所在位置,有助于提高对小尺度对抗补丁的检测精度;将检测区域用合适的像素值覆盖以抹除对抗补丁,上游补丁检测器不仅能够有效降低对抗样本的攻击性,而且不依赖大规模的训练数据;下游数据增强模块通过改进模型训练范式,提高下游目标检测器的鲁棒性;将抹除补丁后的图像输入经过数据增强的下游YOLOV5目标检测模型。在公开的TT100K交通标志数据集上进行了交叉验证,实验表明,与未采取防御措施相比,所提算法能够有效防御多种类型的通用对抗补丁攻击,在检测对抗补丁图像时的mAP(mean average precision)提高65%左右,有效地改善了小尺度对抗补丁的漏检情况。与现有算法比较,所提算法有效提高了神经网络在检测对抗样本时的准确率。此外,所提算法不涉及下游模型结构的修改,具有良好的兼容性。
