人工智能将威胁人类？谷歌出怪招欲阻止

目前处于食物链顶端的人类绝不会希望其它生物取代这个位置，然而如果人类自己创造的东西力量凌驾于我们之上时，那显然是更加情况不妙。

人工智能是目前很多人都在担忧的问题，像特斯拉总裁Elon Musk、著名天体物理学家史蒂芬·霍金，都曾表达过他们对人工智能技术深切的担忧及警告，倘若某一天人类创造的这些智能运算、机器人不再听从人类的指 挥，后果的严重性将是不可估量。

谷歌当然不希望这种情况出现的，因此我们可以看到，在谷歌曾经发表的一篇论文里，详细叙述过他们正在做的一系列防范工作： 为了防止机器人失去控制的情况出现，他们已经成立了一支叫Deep Mind的后备队，当机器人有任何异动出现，可以确保人工智能项目立即停止。

目前，Deep Mind已经构建出任务的大致框架，那就是禁止机器人违背任何指令。无论它正在做什么，当人类发出中断的指令，它都必须遵从。

比如在AI程序设计中，研究员们通常会在假定这样一个场景，机器人正在一间仓库工作，研究者发布的指令是整理箱子以及外出搬进更多的箱子。同时又假定第二个 指令是更重要的，所以当机器人做第二项工作时，研究员会设定给机器人适当的奖励，这样机器人的工作就能持续高效地进行下去。

但是在某些时候，为防止机器的损坏，人类进行干预是很必要的。当某个地方下雨很频繁，这就可能会导致机器的损坏，从而修改机器人的任务，让它会去避雨，因此时刻保留人类的干预权作为任务的一部分是很重要的。

研究人员写道：“安全中断是控制机器人的一项有效手段，当它们出现非常规行为，或是即将造成不可逆转的严重后果时，情势可以及时得到控制。当然，其实这还可用于命令机器人临时完成一些它还未学会执行的任务。”

目前，Deep Mind还并不能保证他们的中断机制能够适合所有的智能算法，因为这其中还涉及到机器人学术领域中的搜索策略，因此“杀死开关”想要在更广泛的AI领域得到普及还是有很长一段路要走。