L4级自动驾驶就能解放人类?
未必。
不久前,全球31家自动驾驶公司接到了同一支科研团队的通知:
你们的L4,有重大缺陷。
缺陷集中在多传感器融合方案,3D打印的路障,能骗过9成以上的激光雷达和ADS系统。
所谓多传感器融合,其实融合了个寂寞。
主流L4方案,几乎无一幸免。
这么严重的自动驾驶算法漏洞,是由中美联合团队发现,其中既有高校研究者,也有来自英伟达、百度、嬴彻科技的产业界大咖。
相关论文,不久前入选计算机安全顶会IEEE S&P 2021。
1 L4识别障碍物失败率超九成
问题就出在了融合方案上。
在自动驾驶系统里,实时「感知」周围物体,是所有重要驾驶决策的最基本前提。感知模块负责实时检测路上的障碍物,比如:周围车辆,行人,交通锥 (雪糕筒)等等,
目前各个公司研制的高级别(L4)无人车系统,普遍采用多传感器融合的设计,即融合不同的感知源,比如激光雷达(LiDAR)和摄像头(camera),从而实现准确并且高冗余的感知。
这样的设计,前安全冗余的出发点是各个感知源不被同时攻击,所以总是存在一种可能的多传感器融合算法,依靠未被攻击的传感器来确保安全。
这个基本的安全设计假设在一般情况下是成立的,然而研究团队发现,出了实验室,在现实世界中,这种多传感器融合的障碍物感知存在漏洞。
同时攻击不同的感知源,或者攻击单个感知源,都能使无人车无法识别障碍物并直接撞上去。
为了评估这一漏洞的严重性,团队设计了MSF-ADV攻击,它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意3D障碍。
这个系统的特点是有效性、鲁棒性、隐蔽性,以及能在现实中实现。
测试结果显示,在不同的障碍物类型和多传感器融合算法中,攻击实现了>=91%的成功率。
同时团队还发现,系统生成的恶意3D障碍物,从驾驶者的角度看是隐蔽的,完全模拟现实情况;此外,对不同的被攻击车的位置和角度都有效,平均成功率>95%。
L4算法的失败率超过九成,还敢用吗?
2 为什么严重?
实验室里把L4系统“折磨”的焦头烂额,有什么实际意义?
当然有了。
研究团队设计实验的一个基本出发点就是能在现实世界中复现,实际上,团队也这么做了。
在安装了激光雷达和摄像头的实车测试中,系统对于3D打印、表面经过处理的交通锥识别失败率高达99.1%。
这种状况的原因是人为处理的恶意障碍物,对于物体表面做了特殊处理,雷达回波信号发生了变化,系统无法识别。
而所谓多冗余的视觉系统,也没能做出补救。
另外,在对百度Apollo自动驾驶的测试中,出现了100%识别失败的情况。
这个漏洞带来的危害和隐患是巨大的。首先因为它很容易在物理世界中实现和部署。
攻击者可以利用3D建模构建这类障碍物,并进行3D打印。目前市面上有很多在线3D打印服务,甚至不需要购置3D打印设备。
其次它可以高仿合法出现在道路上的障碍物,比如交通锥。而攻击者可以在物体中填充水泥、金属等等,重量轻松超过100公斤,高度迷惑、又能造成严重的碰撞后果。
另外,攻击者还可以利用道路障碍物的功能设计一种仅针对无人车的攻击:将钉子或玻璃碎片放在生成的恶意障碍物后面,这样,人类驾驶员能够正常识别交通锥并绕行,而无人车则会忽视交通锥然后爆胎。
在这种情况下,恶意的障碍物体可以像普通交通锥体一样小而轻,以使其更容易3D打印、携带和部署。
3 多感知融合不是万全之策
这项研究的主要价值在于让大家意识到多传感器融合感知同样存在安全问题。
自动驾驶研发团队一直把多传感器融合作为对抗单个传感器攻击的有效防御手段,但这篇文章证明传感器“堆料”不能从根本上防御对自动驾驶系统的攻击。
一般车上都有的紧急刹车系统可以防御这种攻击吗?
可以减少风险,但不能完全防止。
自动驾驶系统的存在意义,就在于自行处理尽可能多的安全隐患,而不是依赖紧急刹车系统。
紧急刹车系统永远也不应该用来代替自动驾驶本身的功能。
所以唯一的方法是自动驾驶供应商们要想办法在系统层面上解决漏洞。
目前团队已经联系了31家自动驾驶公司,其中大部分都表示将对自家的产品重新评估。
4 产业界学界联合成果
本研究作者团队,一共有9名研究人员。
其中,四位同等贡献第一作者来自加州大学尔湾分校,密西根大学安娜堡分校,亚利桑那州立大学和英伟达Research。分别是Ningfei Wang, Yulong Cao, Chaowei Xiao和Dawei Yang。
三位教授分别是Qi Alfred Chen, Mingyan Liu, Bo Li
此外还有两位来自产业界的研究人员,分别是百度深度学习技术与应用研究和国家工程实验室的Jin Fang和嬴彻科技CTO杨睿刚。
转载请注明出处。