-
题名自动驾驶系统中视觉感知模块的安全测试
被引量：4
- 1
-
-
作者
吴昊
王浩
苏醒
李明昊
许封元
仲盛
-
机构
计算机软件新技术国家重点实验室(南京大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2022年第5期1133-1147,共15页
-
基金
国家重点研发计划项目(2021YFB3100300)
国家自然科学基金项目(61872180)
+1 种基金
江苏省“双创计划”
江苏省“六大人才高峰”高层次人才项目。
-
文摘
近年来,基于深度学习的视觉感知技术的发展极大地促进了车联网领域中自动驾驶的繁荣,然而自动驾驶系统的安全问题频出引发了人们对自动驾驶未来的担忧.由于深度学习系统的行为缺乏可解释性,测试基于深度学习的自动驾驶系统的安全性极具挑战.目前,已有针对自动驾驶场景的安全性测试工作被提出,但这些方法在测试场景生成、安全问题检测和安全问题解释等方面仍存在不足之处.针对基于视觉感知的自动驾驶系统,设计开发了一种场景驱动的、可解释性强的、运行高效的安全性测试系统.提出了一种能够平衡真实性与丰富度的场景描述方法,并利用实时渲染引擎生成可以用于驾驶系统安全性测试的场景;设计了一种高效的针对非线性系统的场景搜索算法,其可以针对不同的待测试系统动态调整搜索方案;同时,还设计了一个故障分析器,自动化分析定位待测试系统的安全性缺陷成因.复现了现有基于实时渲染引擎的动态自动驾驶测试系统,并同时使用本系统和复现系统对CILRS系统和CIL系统进行安全测试,实验结果表明相同时间下该工作的安全问题发现率是复现的场景驱动的动态测试方法的1.4倍.进一步的实验表明:可以分别为具有代表性的深度学习自动驾驶系统CIL和CILRS,从旷野、乡村与城市的3类环境中动态生成的共3000个场景中,搜索到1939个和1671个造成故障的场景,并且每个故障场景的搜索时间平均为16.86 s.分析器从统计的角度判断出CILRS系统容易导致故障的区域在道路两侧,雨天和红色或黄色物体更易导致该自动驾驶系统发生故障.
-
关键词
车联网
视觉感知模块
深度学习安全性
黑盒测试
场景搜索
-
Keywords
Internet of vehicles
visual perception module
deep learning security
black-box testing
scene search
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名针对视频分类模型的共轭梯度攻击
- 2
-
-
作者
戴扬
冯旸赫
黄金才
-
机构
国防科技大学系统工程学院
-
出处
《工程科学学报》
EI
CSCD
北大核心
2024年第9期1630-1637,共8页
-
基金
国家自然科学基金资助项目(62276272)。
-
文摘
基于深度神经网络的视频分类模型目前应用广泛,然而最近的研究表明,深度神经网络极易受到对抗样本的欺骗.这类对抗样本含有对人类来说难以察觉的噪声,而其存在对深度神经网络的安全性构成严重威胁.尽管目前已经针对图像的对抗样本产生了相当多的研究,针对视频的对抗攻击仍存在复杂性.通常的对抗攻击采用快速梯度符号方法(FGSM),然而该方法生成的对抗样本攻击成功率低,以及易被察觉,隐蔽性不足.为解决这两个问题,本文受非线性共轭梯度下降法(FR–CG)启发,提出一种针对视频模型的非线性共轭梯度攻击方法.该方法通过松弛约束条件,令搜索步长满足强Wolfe条件,保证了每次迭代的搜索方向与目标函数损失值上升的方向一致.针对UCF-101的实验结果表明,在扰动上界设置为3/255时,本文攻击方法具有91%的攻击成功率.同时本文方法在各个扰动上界下的攻击成功率均比FGSM方法高,且具有更强的隐蔽性,在攻击成功率与运行时间之间实现了良好的平衡.
-
关键词
对抗样本
深度学习安全性
视频攻击
白盒攻击
共轭梯度算法
-
Keywords
adversarial attack
the security of DNN
video attack
white-box attack
conjugate gradient algorithm
-
分类号
TG142.71
[金属学及工艺—金属材料]
-
