基于代理生成对抗网络的服务质量感知云API推荐系统投毒攻击

1

作者 陈真 刘伟 +3 位作者 吕瑞民 马佳洁 冯佳音 尤殿龙 《通信学报》 北大核心 2025年第3期174-186,共13页

针对现有投毒攻击方法生成的虚假用户攻击数据存在攻击效果差且易被检测的不足,提出一种基于代理生成对抗网络的投毒攻击方法。首先,在生成对抗网络中采用K-means算法将数据分类,并引入自注意力机制学习每个类中的全局特征,解决生成对... 针对现有投毒攻击方法生成的虚假用户攻击数据存在攻击效果差且易被检测的不足,提出一种基于代理生成对抗网络的投毒攻击方法。首先,在生成对抗网络中采用K-means算法将数据分类,并引入自注意力机制学习每个类中的全局特征,解决生成对抗网络在数据稀疏时难以有效捕捉真实用户复杂行为模式这一问题,提升虚假用户的隐蔽性。其次,引入代理模型评估生成对抗网络生成的虚假用户的攻击效果,将评估结果作为代理损失优化生成对抗网络,进而实现在兼顾虚假用户隐蔽性的同时增强攻击效果。云API服务质量数据集上的实验表明,所提方法在兼顾攻击的有效性和隐蔽性方面均优于现有方法。 展开更多

关键词 推荐系统 云API 投毒攻击 生成对抗网络 代理模型

在线阅读 下载PDF 职称材料

联邦学习中防御投毒攻击的客户端筛选策略

2

作者 徐鹤 张迪 +1 位作者 李鹏 季一木 《南京邮电大学学报（自然科学版）》 北大核心 2024年第6期53-64,共12页

联邦学习是一种解决数据孤岛问题的方法,但随着攻击模型的不断进化,敌手可能在训练过程中注入有害参数,导致模型训练效果下降。为了增强联邦学习模型训练过程的安全性,设计了一种面向联邦学习投毒攻击的客户端筛选策略。在该策略中,利... 联邦学习是一种解决数据孤岛问题的方法,但随着攻击模型的不断进化,敌手可能在训练过程中注入有害参数,导致模型训练效果下降。为了增强联邦学习模型训练过程的安全性,设计了一种面向联邦学习投毒攻击的客户端筛选策略。在该策略中,利用基于差分隐私指数机制的评分函数来动态更新权重参数。首先,为每个客户端分配一致的权重参数;然后,将每一轮训练的效果作为评估标准进行量化,并将量化结果传递至所构建的更新函数中;接着,服务器根据这些更新后的权重参数,筛选出适合参与本轮训练的客户端,并对这些客户端上传的训练模型进行聚合。整个流程反复进行多轮次,最终得出一个有效可靠的训练模型。最后,通过实验验证了所提策略在面对敌手投毒攻击下的可行性。 展开更多

关键词 联邦学习 投毒攻击 差分隐私 指数机制

在线阅读 下载PDF 职称材料

面向半异步联邦学习的防御投毒攻击方法研究

3

作者 吴立钊 汪晓丁 +2 位作者 徐恬 阙友雄 林晖 《信息网络安全》 CSCD 北大核心 2024年第10期1578-1585,共8页

联邦学习由于其分布式特性,容易遭受模型投毒攻击,即恶意客户端通过发送篡改的模型更新来破坏全局模型的准确性。在众多的联邦学习分支方法中,半异步联邦学习由于其对实时性要求较低,使得它在面对投毒攻击时显得尤为脆弱。目前,检测恶... 联邦学习由于其分布式特性,容易遭受模型投毒攻击,即恶意客户端通过发送篡改的模型更新来破坏全局模型的准确性。在众多的联邦学习分支方法中,半异步联邦学习由于其对实时性要求较低,使得它在面对投毒攻击时显得尤为脆弱。目前,检测恶意客户端的主要手段是通过分析客户端更新的统计特征来进行区分。然而,这一方法并不适用于半异步联邦学习。由于陈旧更新中包含由延迟产生的噪声,导致现有的检测算法难以区分良性客户端的陈旧更新与攻击者的恶意更新。为了解决半异步联邦学习中的恶意客户端检测问题,文章提出了一种基于预测模型更新的检测方法SAFLD。该方法根据模型的历史更新来预测客户端的过时更新并评估恶意分数,在检测中分数较高的客户端将被标记为恶意更新客户端并移除。文章在两个基准数据集上进行了实验,结果表明,相比于现有的检测算法,SAFLD能够在半异步联邦学习场景中更加准确地检测出多种最先进的模型投毒攻击。 展开更多

关键词 半异步联邦学习 投毒攻击 L-BFGS 恶意客户端检测

在线阅读 下载PDF 职称材料

面向云边端分层联邦学习中有针对性投毒攻击的鲁棒性防御方案

4

作者 李志博 蔡英 +1 位作者 范艳芳 罗瑞涵 《北京信息科技大学学报（自然科学版）》 2024年第6期53-61,共9页

针对云边端分层联邦学习中多个边缘服务器上存在恶意客户端发起投毒攻击,导致全局模型收敛困难的问题,提出了具有鲁棒性的云边端分层联邦学习框架。设计了针对恶意客户端分布不均时,能抵御标签翻转攻击和后门攻击的双端检测算法,通过主... 针对云边端分层联邦学习中多个边缘服务器上存在恶意客户端发起投毒攻击,导致全局模型收敛困难的问题,提出了具有鲁棒性的云边端分层联邦学习框架。设计了针对恶意客户端分布不均时,能抵御标签翻转攻击和后门攻击的双端检测算法,通过主成分分析对模型的Softmax层降维来减少冗余信息,然后利用模型之间的余弦相似度分数进行聚类分簇,以检测潜在的恶意梯度;并设计基于参与度分数的聚合算法,保证全局模型的鲁棒性。在2个公开数据集MNIST、CIFAR-10上通过标签翻转和后门攻击验证了所提防御方案的有效性和鲁棒性。 展开更多

关键词 云边端架构 联邦学习 投毒攻击 鲁棒性

在线阅读 下载PDF 职称材料

无人系统中离线强化学习的隐蔽数据投毒攻击方法

5

作者 周雪 苘大鹏 +4 位作者 许晨 吕继光 曾凡一 高朝阳 杨武 《通信学报》 CSCD 北大核心 2024年第12期16-27,共12页

针对现有离线强化学习数据投毒攻击方法有效性及隐蔽性不足的问题,提出一种关键时间步动态投毒攻击方法,通过对重要性较高的样本进行动态扰动,实现高效隐蔽的攻击效果。具体来说,通过理论分析发现时序差分误差对于模型学习过程具有重要... 针对现有离线强化学习数据投毒攻击方法有效性及隐蔽性不足的问题,提出一种关键时间步动态投毒攻击方法,通过对重要性较高的样本进行动态扰动,实现高效隐蔽的攻击效果。具体来说,通过理论分析发现时序差分误差对于模型学习过程具有重要影响,将其作为投毒目标选择的依据;进一步提出基于双目标优化的投毒方法,在最小化扰动幅度的同时,最大化攻击对模型性能产生的负面影响,为每个投毒样本生成最优扰动幅度。在多种任务及算法中的实验结果表明,所提攻击方法仅在投毒比例为整体数据1%的情况下,就能使智能体的平均性能下降84%,揭示了无人系统中离线强化学习模型的敏感性及脆弱性。 展开更多

关键词 无人系统 离线强化学习 数据投毒攻击 数据安全

在线阅读 下载PDF 职称材料

一种基于联邦学习参与方的投毒攻击防御方法

6

作者 刘金全 张铮 +1 位作者 陈自东 曹晟 《计算机应用研究》 CSCD 北大核心 2024年第4期1171-1176,共6页

联邦学习分布式的训练结构易受到投毒攻击的威胁,现有方法主要针对中央服务器设计安全聚合算法以防御投毒攻击,但要求中央服务器可信且中毒参与方数量需低于正常参与方。为了解决上述问题,提出了一种基于联邦学习参与方的投毒攻击防御方... 联邦学习分布式的训练结构易受到投毒攻击的威胁,现有方法主要针对中央服务器设计安全聚合算法以防御投毒攻击,但要求中央服务器可信且中毒参与方数量需低于正常参与方。为了解决上述问题,提出了一种基于联邦学习参与方的投毒攻击防御方法,将防御策略的执行转移到联邦学习的参与方。首先,每个参与方独立构造差异损失函数,通过计算全局模型与本地模型的输出并进行误差分析,得到差异损失权重与差异损失量;其次,依据本地训练的损失函数与差异损失函数进行自适应训练;最终,依据本地模型与全局模型的性能分析进行模型选取,防止中毒严重的全局模型干扰正常参与方。在MNIST与FashionMNIST等数据集上的实验表明,基于该算法的联邦学习训练准确率优于DnC等投毒攻击防御方法,在中毒参与方比例超过一半时,正常参与方仍能够实现对投毒攻击的防御。 展开更多

关键词 联邦学习 投毒攻击防御 训练权重 鲁棒性

在线阅读 下载PDF 职称材料

基于改进投影梯度下降算法的图卷积网络投毒攻击 被引量：5

7

作者 金柯君 于洪涛 +2 位作者 吴翼腾 李邵梅 操晓春 《计算机工程》 CAS CSCD 北大核心 2022年第10期176-183,共8页

图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯... 图神经网络在面对节点分类、链路预测、社区检测等与图数据处理相关的任务时,容易受到对抗性攻击的安全威胁。基于梯度的攻击方法具有有效性和高效性,被广泛应用于图神经网络对抗性攻击,高效利用攻击梯度信息与求取离散条件下的攻击梯度是攻击离散图数据的关键。提出基于改进投影梯度下降算法的投毒攻击方法。将模型训练参数看作与扰动相关的函数,而非固定的常数,在模型的对抗训练中考虑了扰动矩阵的影响,同时在更新攻击样本时研究模型对抗训练的作用,实现数据投毒与对抗训练两个阶段的结合。采用投影梯度下降算法对变量实施扰动,并将其转化为二进制,以高效利用攻击梯度信息,从而解决贪婪算法中时间开销随扰动比例线性增加的问题。实验结果表明,当扰动比例为5%时,相比Random、DICE、Min-max攻击方法,在Citeseer、Cora、Cora_ml和Polblogs数据集上图卷积网络模型被该方法攻击后的分类准确率分别平均降低3.27%、3.06%、3.54%、9.07%,在时间开销和攻击效果之间实现了最佳平衡。 展开更多

关键词 图卷积网络 对抗性攻击 投毒攻击 投影梯度下降 对抗训练

在线阅读 下载PDF 职称材料

基于生成对抗网络的联邦学习中投毒攻击检测方案 被引量：1

8

作者 陈谦 柴政 +1 位作者 王子龙 陈嘉伟 《计算机应用》 CSCD 北大核心 2023年第12期3790-3798,共9页

联邦学习(FL)是一种新兴的隐私保护机器学习(ML)范式,然而它的分布式的训练结构更易受到投毒攻击的威胁:攻击者通过向中央服务器上传投毒模型以污染全局模型,减缓全局模型收敛并降低全局模型精确度。针对上述问题,提出一种基于生成对抗... 联邦学习(FL)是一种新兴的隐私保护机器学习(ML)范式,然而它的分布式的训练结构更易受到投毒攻击的威胁:攻击者通过向中央服务器上传投毒模型以污染全局模型,减缓全局模型收敛并降低全局模型精确度。针对上述问题,提出一种基于生成对抗网络(GAN)的投毒攻击检测方案。首先,将良性本地模型输入GAN产生检测样本;其次,使用生成的检测样本检测客户端上传的本地模型;最后,根据检测指标剔除投毒模型。同时,所提方案定义了F1值损失和精确度损失这两项检测指标检测投毒模型,将检测范围从单一类型的投毒攻击扩展至全部两种类型的投毒攻击;设计阈值判定方法处理误判问题,确保误判鲁棒性。实验结果表明,在MNIST和Fashion-MNIST数据集上,所提方案能够生成高质量检测样本,并有效检测与剔除投毒模型;与使用收集测试数据和使用生成测试数据但仅使用精确度作为检测指标的两种检测方案相比,所提方案的全局模型精确度提升了2.7~12.2个百分点。 展开更多

关键词 联邦学习 投毒攻击 生成对抗网络 F1值损失 精确度损失 阈值判定方法

在线阅读 下载PDF 职称材料

面向视觉分类模型的投毒攻击

9

作者 梁捷 郝晓燕 陈永乐 《计算机应用》 CSCD 北大核心 2023年第2期467-473,共7页

数据投毒攻击中的后门攻击方式的攻击者通过将带有隐藏触发器的样本插入训练集中来操纵训练数据的分布,从而使测试样本错误分类以达到改变模型行为和降低模型性能的目的。而现有触发器的弊端是样本无关性,即无论采用什么触发模式,不同... 数据投毒攻击中的后门攻击方式的攻击者通过将带有隐藏触发器的样本插入训练集中来操纵训练数据的分布,从而使测试样本错误分类以达到改变模型行为和降低模型性能的目的。而现有触发器的弊端是样本无关性,即无论采用什么触发模式,不同有毒样本都包含相同触发器。因此将图像隐写技术与深度卷积对抗网络(DCGAN)结合,提出一种基于样本的攻击方法来根据灰度共生矩阵生成图像纹理特征图,利用图像隐写技术将目标标签字符嵌入纹理特征图中作为触发器,并将带有触发器的纹理特征图和干净样本拼接成中毒样本,再通过DCGAN生成大量带有触发器的假图。在训练集样本中将原中毒样本以及DCGAN生成的假图混合起来,最终达到投毒者注入少量的中毒样本后,在拥有较高的攻击率同时,保证触发器的有效性、可持续性和隐藏性的效果。实验结果表明,该方法避免了样本无关性的弊端,并且模型精确度达到93.78%,在30%的中毒样本比例下,数据预处理、剪枝防御以及AUROR防御方法对攻击成功率的影响达到最小,攻击成功率可达到56%左右。 展开更多

关键词 视觉分类模型 投毒攻击 后门攻击 触发器 图像隐写 深度卷积对抗网络

在线阅读 下载PDF 职称材料

多模态对比学习中的靶向投毒攻击

10

作者 刘高扬 吴伟玲 +1 位作者 张锦升 王琛 《信息网络安全》 CSCD 北大核心 2023年第11期69-83,共15页

近年来,使用对比学习技术在大规模无标注数据上所构建的预训练模型得到了广泛的应用(如车道检测、人脸识别等)。然而,其面临的安全和隐私问题也引起学者的广泛关注。文章聚焦于针对多模态对比学习模型的投毒攻击,该攻击将精心构造的数... 近年来,使用对比学习技术在大规模无标注数据上所构建的预训练模型得到了广泛的应用(如车道检测、人脸识别等)。然而,其面临的安全和隐私问题也引起学者的广泛关注。文章聚焦于针对多模态对比学习模型的投毒攻击,该攻击将精心构造的数据注入训练集,以改变模型在特定数据上的预测行为。针对现有投毒攻击主要针对文本或图像单模态模型,没有利用文本或者图像间的多模态信息的问题,文章提出一种同时对文本与图像编码器投毒的靶向投毒攻击。首先,基于Beta分布自动生成水印图像透明度;然后,根据透明度生成添加水印后的样本,并根据水印样本与目标样本之间的欧式距离得到该透明度下应当投毒的样本数;最后,通过特定的优化算法生成投毒数据集。与现有的投毒攻击相比,文章所提方法具有更低的投毒率,并能够保持目标模型的性能。 展开更多

关键词 对比学习 靶向投毒攻击 下游任务投毒 多模态信息

在线阅读 下载PDF 职称材料

面向LinUCB算法的数据投毒攻击方法

11

作者 姜伟龙 何琨 《中国科学：信息科学》 CSCD 北大核心 2024年第7期1569-1587,共19页

LinUCB算法是求解上下文多臂老虎机问题的一种典型算法,被广泛应用于新闻投放、产品推荐、医疗资源分配等场景中.目前对该算法的安全性研究略显薄弱,这就要求研究者进一步加深对该算法的攻击方式的研究,以作出具有针对性乃至泛用性的防... LinUCB算法是求解上下文多臂老虎机问题的一种典型算法,被广泛应用于新闻投放、产品推荐、医疗资源分配等场景中.目前对该算法的安全性研究略显薄弱,这就要求研究者进一步加深对该算法的攻击方式的研究,以作出具有针对性乃至泛用性的防御措施.本文提出了两种通过添加虚假数据的方式对LinUCB算法进行离线数据投毒攻击的攻击方案,即TCA方案(target context attack)与OCA方案(optimized context attack).前者是基于训练数据与目标上下文的相似性来生成投毒数据的;后者是建模一个优化问题,通过求解该问题来构造投毒数据,是前者的优化版本.实验测试表明,仅需添加少量投毒数据作为攻击成本即可实现对攻击目标的100%攻击成功率. 展开更多

关键词 上下文多臂老虎机 LinUCB算法 数据投毒攻击 白盒攻击 优化问题

原文传递

面向联邦学习的对抗样本投毒攻击 被引量：4

12

作者 王波 代晓蕊 +3 位作者 王伟 于菲 魏飞 赵梦楠 《中国科学：信息科学》 CSCD 北大核心 2023年第3期470-484,共15页

为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参... 为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参与方的攻击,导致联邦学习全局模型失效和参与方隐私泄露.本文通过研究对抗样本在训练阶段对联邦学习系统进行投毒攻击的有效性,以发现联邦学习系统的潜在安全问题.尽管对抗样本常用于在测试阶段对机器学习模型进行攻击,但本文中,恶意参与方将对抗样本用于本地模型训练,旨在使得本地模型学习混乱的样本分类特征,从而生成恶意的本地模型参数.为了让恶意参与方主导联邦学习训练过程,本文进一步使用了“学习率放大”的策略.实验表明,相比于Fed-Deepconfuse攻击方法,本文的攻击在CIFAR10数据集和MNIST数据集上均获得了更优的攻击性能. 展开更多

关键词 联邦学习 对抗样本 投毒攻击

原文传递

基于感知相似性的多目标优化隐蔽图像后门攻击

13

作者 朱素霞 王金印 孙广路 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1182-1192,共11页

深度学习模型容易受到后门攻击,在处理干净数据时表现正常,但在处理具有触发模式的有毒样本时会表现出恶意行为.然而,目前大多数后门攻击产生的后门图像容易被人眼察觉,导致后门攻击隐蔽性不足.因此提出了一种基于感知相似性的多目标优... 深度学习模型容易受到后门攻击,在处理干净数据时表现正常,但在处理具有触发模式的有毒样本时会表现出恶意行为.然而,目前大多数后门攻击产生的后门图像容易被人眼察觉,导致后门攻击隐蔽性不足.因此提出了一种基于感知相似性的多目标优化隐蔽图像后门攻击方法.首先,使用感知相似性损失函数减少后门图像与原始图像之间的视觉差异.其次,采用多目标优化方法解决中毒模型上任务间冲突的问题,从而确保模型投毒后性能稳定.最后,采取了两阶段训练方法,使触发模式的生成自动化,提高训练效率.最终实验结果表明,在干净准确率不下降的情况下,人眼很难将生成的后门图像与原始图像区分开.同时,在目标分类模型上成功进行了后门攻击,all-to-one攻击策略下所有实验数据集的攻击成功率均达到了100%.相比其他隐蔽图像后门攻击方法,具有更好的隐蔽性. 展开更多

关键词 后门攻击 隐蔽后门 投毒攻击 深度学习 模型安全

在线阅读 下载PDF 职称材料

物联网感知环境中抗投毒可验证安全联邦学习方案

14

作者 韩刚 马炜燃 +2 位作者 张应辉 刘伟 盛丽玲 《信息安全研究》 CSCD 北大核心 2024年第9期804-810,共7页

针对物联网智能感知阶段中预测模型训练的模型投毒问题,提出了一种具备验证功能的抗投毒攻击方案.该方案采用余弦相似度聚类机制和过滤策略作为可信第三方检测算法,并融合同态加密技术实现认证,同时通过轻量级数据加密以保护本地模型数... 针对物联网智能感知阶段中预测模型训练的模型投毒问题,提出了一种具备验证功能的抗投毒攻击方案.该方案采用余弦相似度聚类机制和过滤策略作为可信第三方检测算法,并融合同态加密技术实现认证,同时通过轻量级数据加密以保护本地模型数据的隐私.此外,采用Shamir秘密共享算法保障了针对用户退出问题的模型训练的鲁棒性.通过引入可信第三方,该方案能够有效检测并防止不诚实用户或攻击者对联邦学习模型精度的影响.仿真实验结果表明,该方案能够在保障用户本地模型数据安全的前提下,对参与训练的模型数据进行高精度的检测,并能够处理物联网智能感知环境下的大量异构数据. 展开更多

关键词 联邦学习 投毒攻击 物联网智能感知 隐私保护 同态加密

在线阅读 下载PDF 职称材料

基于模型水印的联邦学习后门攻击防御方法 被引量：3

15

作者 郭晶晶 刘玖樽 +5 位作者 马勇 刘志全 熊宇鹏 苗可 李佳星 马建峰 《计算机学报》 EI CAS CSCD 北大核心 2024年第3期662-676,共15页

联邦学习作为一种隐私保护的分布式机器学习方法,容易遭受参与方的投毒攻击,其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大.现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束(服务器需拥有干净的... 联邦学习作为一种隐私保护的分布式机器学习方法,容易遭受参与方的投毒攻击,其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大.现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束(服务器需拥有干净的根数据集,恶意参与方比例小于50%,投毒攻击不能在学习初期发起等).在约束条件无法满足时,这些方案的效果往往会大打折扣.针对这一问题,本文提出了一种基于模型水印的联邦学习后门攻击防御方法.在该方法中,服务器预先在初始全局模型中嵌入水印,在后续学习过程中,通过验证该水印是否在参与方生成的本地模型中被破坏来实现恶意参与方的检测.在模型聚合阶段,恶意参与方的本地模型将被丢弃,从而提高全局模型的鲁棒性.为了验证该方案的有效性,本文进行了一系列的仿真实验.实验结果表明该方案可以在恶意参与方比例不受限制、参与方数据分布不受限制、参与方发动攻击时间不受限制的联邦学习场景中有效检测恶意参与方发起的后门投毒攻击.同时,该方案的恶意参与方检测效率相比于现有的投毒攻击防御方法提高了45%以上. 展开更多

关键词 联邦学习 投毒攻击 后门攻击 异常检测 模型水印

在线阅读 下载PDF 职称材料

基于样本原生特征的投毒防御方法

16

作者 刘枭天 郝晓燕 +2 位作者 马垚 于丹 陈永乐 《计算机工程与设计》 北大核心 2024年第3期663-668,共6页

为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性... 为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性进行投毒防御,引入样本原生特征与人为特征的概念,采用耦合infoGAN结构实现样本特征的分离及提取;进行机器学习模型的重训练。在真实数据集上设计实验评估防御效果,其结果验证了infoGAN_Defense算法的可行性和有效性。 展开更多

关键词 投毒样本 原生特征 人为特征 机器学习安全 数据投毒攻击 投毒防御 生成对抗网络

在线阅读 下载PDF 职称材料

抗拜占庭攻击的梯度净化联邦自适应学习算法

17

作者 杨辉 邱子游 +1 位作者 李中美 朱建勇 《通信学报》 CSCD 北大核心 2024年第S1期1-11,共11页

在工业大数据之下,数据安全和隐私保护是关键挑战之一。传统的数据共享和模型训练方法在应对数据泄露和恶意攻击(尤其是复杂的拜占庭攻击和投毒攻击)时效果有限,因为传统联邦学习通常假定所有参与方都是可信的,这使得模型在遭遇投毒攻... 在工业大数据之下,数据安全和隐私保护是关键挑战之一。传统的数据共享和模型训练方法在应对数据泄露和恶意攻击(尤其是复杂的拜占庭攻击和投毒攻击)时效果有限,因为传统联邦学习通常假定所有参与方都是可信的,这使得模型在遭遇投毒攻击时性能显著下降。为解决这个问题,本文提出一种抗拜占庭攻击的梯度净化联邦自适应学习算法,通过滑动窗口梯度过滤器和符号聚类过滤器识别恶意梯度,滑动窗口方法检测异常梯度,而符号聚类则根据梯度方向一致性筛选出偏离的对抗性梯度,经过过滤后,使用基于权重的自适应聚合规则对剩余的可信梯度进行加权聚合,动态调整参与方梯度的权重,降低恶意梯度的影响,从而增强模型的鲁棒性。实验结果显示,尽管新型投毒攻击的强度更高,但所提算法能有效防御这些攻击且减轻模型性能的损失。相比于传统防御算法,所提算法不仅提高了模型的准确性,还提升了其安全性。 展开更多

关键词 联邦学习 拜占庭攻击 投毒攻击 模型鲁棒性 工业大数据

在线阅读 下载PDF 职称材料

基于多权重主观逻辑的联邦学习攻击防御机制

18

作者 裴浪涛 陈学斌 翟冉 《软件导刊》 2024年第5期123-129,共7页

联邦学习作为一种分布式学习框架,可以在保证各客户端本地数据安全的前提下共同训练一个全局模型。但在联邦学习过程中,存在恶意的参与方会提交错误的更新来阻止模型收敛,或者通过投毒攻击使模型的拟合偏离正常方向。传统的主观逻辑防... 联邦学习作为一种分布式学习框架,可以在保证各客户端本地数据安全的前提下共同训练一个全局模型。但在联邦学习过程中,存在恶意的参与方会提交错误的更新来阻止模型收敛,或者通过投毒攻击使模型的拟合偏离正常方向。传统的主观逻辑防御机制考虑的是互动频率、互动时间及互相之间的影响,而忽略了多源数据对信誉评价结果的影响。针对此问题,提出一种基于多权重主观逻辑的联邦学习攻击防御机制。该机制通过Shapley值计算客户端的贡献度,并从可信度、贡献度和新鲜度3方面对联邦学习中客户端的信誉进行评价。同时,通过引入区块链技术存储参数进一步提高模型的安全性。实验结果表明,在多源数据下,该机制能够准确识别投毒攻击并进行防御,同时保留较好的模型性能。 展开更多

关键词 联邦学习 投毒攻击 多权重主观逻辑模型 SHAPLEY值 区块链

在线阅读 下载PDF 职称材料

基于多方计算的安全拜占庭弹性联邦学习

19

作者 高鸿峰 黄浩 田有亮 《通信学报》 北大核心 2025年第2期108-122,共15页

为了解决联邦学习中梯度隐私保护、服务器推理攻击和客户端数据投毒导致的低准确率等问题,针对服务器-客户端的两层架构,提出了一种基于多方计算的安全拜占庭弹性联邦学习方案。首先,提出了一种基于加法秘密共享的两方密文计算方法,对... 为了解决联邦学习中梯度隐私保护、服务器推理攻击和客户端数据投毒导致的低准确率等问题,针对服务器-客户端的两层架构,提出了一种基于多方计算的安全拜占庭弹性联邦学习方案。首先,提出了一种基于加法秘密共享的两方密文计算方法,对本地模型梯度进行拆分,来抵抗服务器的推理攻击。其次,设计了一种密态数据下的投毒检测算法和客户端筛选机制来抵御投毒攻击。最后,在MNIST数据集和CIFAR-10数据集上进行实验来验证方案的可行性。与传统的Trim-mean和Median方法相比,当拜占庭参与者比例达到40%时,模型的准确率提升了3%~6%。综上所述,所提方案既能抵御推理攻击和投毒攻击,又能提高全局模型的准确率,足以证明方案的有效性。 展开更多

关键词 联邦学习 隐私保护 多方计算 推理攻击 投毒攻击

在线阅读 下载PDF 职称材料

深度神经网络的后门攻击研究进展

20

作者 黄舒心 张全新 +2 位作者 王亚杰 张耀元 李元章 《计算机科学》 CSCD 北大核心 2023年第9期52-61,共10页

近年来,深度神经网络(Deep Neural Networks, DNNs)迅速发展,其应用领域十分广泛,包括汽车自动驾驶、自然语言处理、面部识别等,给人们的生活带来了许多便利。然而,DNNs的发展也埋下了一定的安全隐患。近年来,DNNs已经被证实易受到后门... 近年来,深度神经网络(Deep Neural Networks, DNNs)迅速发展,其应用领域十分广泛,包括汽车自动驾驶、自然语言处理、面部识别等,给人们的生活带来了许多便利。然而,DNNs的发展也埋下了一定的安全隐患。近年来,DNNs已经被证实易受到后门攻击,这主要是由于DNNs本身透明性较低以及可解释性较差,使攻击者可以趁虚而入。通过回顾神经网络后门攻击相关的研究工作,揭示了神经网络应用中潜在的安全与隐私风险,强调了后门领域研究的重要性。首先简要介绍了神经网络后门攻击的威胁模型,然后将神经网络后门攻击分为基于投毒的后门攻击和无投毒的后门攻击两大类,其中基于投毒的后门攻击又可以细分为多个类别;然后对神经网络后门攻击的发展进行了梳理和总结,对现有资源进行了汇总;最后对后门攻击未来的发展趋势进行了展望。 展开更多

关键词 后门攻击 神经网络 机器学习 投毒攻击 非投毒攻击

在线阅读 下载PDF 职称材料