自动驾驶重大漏洞曝光：感知算法可能无法避开人造3D恶意障碍物

近日，一项研究显示，L4自动驾驶使用的多传感器融合感知技术存在一个安全漏洞：攻击者可以在道路中间放置一个3D打印的恶意障碍物，使自动驾驶车辆的camera和LiDAR机器学习检测模型都识别不到，并直接撞上去。

现今L4自动驾驶系统正在被逐渐商业化。百度已经在北京、长沙和沧州开始大规模测试无人驾驶出租车，百度获得加州全无人驾驶测试许可，Waymo甚至已经开始在美国凤凰城测试不需要安全驾驶员的完全自动驾驶出租车。

在自动驾驶系统里，“感知”实时周围物体，是所有重要驾驶决策的最基本前提。

感知模块负责实时检测路上的障碍物，比如：周围车辆，行人，交通锥 （雪糕筒）等等， 从而避免发生一些交通事故。因为感知模块对无人车安全的重要性，商业高级别（L4）无人车系统普遍采用多传感融合的设计，即融合不同的感知源，比如激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。

在这样的设计中，根据“并非所有感知源都同时被攻击（或可以被攻击）”这一假设，总是存在一种可能的多传感器融合算法，可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设在一般情况下是成立的，因此多传感器融合通常被认为是针对现有无人车感知攻击（单感知源攻击）的有效防御策略。

然而我们发现，在识别现实世界中，这种多传感器融合的障碍物感知存在漏洞。

通过这个漏洞，我们可以同时攻击不同的感知源，或者攻击单个感知源（只有LiDAR或者camera的检测），使得无人车无法成功检测前面的障碍物并直接撞上去。

在这项工作中，我们首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。

我们直接挑战了上述基本的安全设计假设，证明了“同时攻击自动驾驶多传感器融合感知中所有感知源”的可能性。这使我们第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障。

具体来说，我们发现恶意3D障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体， 同时具有有隐蔽和物理上可实现的特点。我们的关键发现是，3D障碍物的不同形状可以同时导致LiDAR点云中的点位置变化和camera图像中的像素值变化。因此，攻击者可以利用形状操作，同时向camera和LiDAR引入输入扰动。

这样的攻击载体还有另外两个优点：

(1) 它很容易在物理世界中实现和部署。例如，攻击者可以利用3D建模构建这类障碍物，并进行3D打印。目前市面上有很多在线3D打印服务，攻击者甚至不需要拥有3D打印设备。

(2) 它可以通过模仿能合法出现在道路上的正常交通障碍物，如交通锥或障碍物（如石头），并伪装为比较常见的磨损或破损的外观， 实现高度隐蔽性（如图1）。

图1：生活中路面可能出现的形状奇怪或破损的物体

为了使其既容易部署又能造成严重的碰撞，攻击者可以选择较小的障碍物，如岩石或交通锥，但用花岗岩甚至金属填充，使其更硬更重。

例如，一块0.5立方米的石头或一个1米高的交通锥，里面填充一些铝，很容易超过100公斤，如果汽车在高速行驶时撞到，有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。

另外，攻击者还可以利用某些道路障碍物的功能（如交通锥作为标识的功能）。例如，攻击者可以设计一种仅针对无人车的攻击，将钉子或玻璃碎片放在生成的恶意交通锥障碍 物后面，这样，人类驾驶员能够正常识别交通锥并绕行，而无人车则会忽视交通锥然后爆胎。

在这里，安全损害并不是需要由碰撞交通锥体本身造成的，因此在这种情况下，恶意的交通锥体可以像普通交通锥体一样小而轻，以使其更容易3D打印、携带和部署。

为了评估这一漏洞的严重性，我们设计了MSF-ADV攻击，它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的3D障碍，我们提出创新性的设计提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性（如图2）。

我们选择了3种障碍物类型（交通锥、玩具车和长椅）进行测试，并在真实世界的驾驶数据上进行评估。我们的结果显示，在不同的障碍物类型和多 传感器融合算法中，我们的攻击实现了>=91%的成功率。

我们还发现，我们的攻击是：

（1）基于用户研究，从驾驶者的角度看是隐蔽的；

（2）对不同的被攻击车的位置和角度具有鲁棒性，平均成功率>95%；

（3）制作出来的恶意的3D障碍物可以有效转移并用于攻击其他MSF算法，平均转移攻击成功率约75%。

图2：基于优化的恶意的3D物体生成概述

为了了解攻击在物理世界中的可实现性和严重性，我们3D打印了生成的恶意障碍物（图3），并在使用了多传感器融合感知得真车上进行评估。

图4是我们使用的装配了LiDAR和 camera 的测试车辆。我们发现恶意的障碍物可以在总共108个传感器帧中的107帧中（99.1%）成功躲过多传感器融合的检测。在一个微缩模型的实验环境中（图5），我们发现我们的恶意的障碍物在不同的随机抽样位置有85-90%的成功率逃避多传感器融合感知的检测，而且这种有效性可以转移。

图3: 3D打印出来的恶意障碍物

图4: 安装LiDAR和camera的真车设置和检测结果

图5: 微缩模型的实验环境和检测结果

为了了解端到端的安全影响，我们使用产品级的无人车模拟器LGSVL进一步评估MSF-ADV（图6）。在100次运行中，我们的恶意的交通锥对Apollo的无人车造成100%的车辆碰撞率。相比之下， 正常交通锥体的碰撞率为0%。

图6: Apollo和LGSVL在端到端攻击评估的截图