研究表明，仅通过改变一个像素，计算机就可能被欺骗，认为出租车的图片是一只狗。

这些局限性源自日本对如何欺骗广泛使用的基于人工智能的图像识别系统的研究。

许多其他科学家现在正在创建“对抗性”示例图像，以暴露某些类型的识别软件的脆弱性。

专家警告说，没有快速简便的方法来修复图像识别系统以防止它们被这种方式愚弄。

轰炸机还是斗牛犬？

在他们的研究中，苏嘉伟和九州大学的同事对大量图片进行了微小的修改，然后通过广泛使用的基于人工智能的图像识别系统进行分析。

他们测试的所有系统都基于一种称为深度神经网络的人工智能。通常，这些系统通过大量不同的示例进行训练来学习，让它们了解狗和出租车等物体之间的区别。

研究人员发现，改变大约 74% 的测试图像中的一个像素会使神经网络错误地标记他们所看到的内容。有些错误是险些发生的，例如猫被误认为是狗，但其他错误，包括将隐形轰炸机标记为狗，则远远超出了标准。

日本研究人员开发了各种基于像素的攻击，捕获了他们测试的所有先进的图像识别系统。

“据我们所知，没有哪个数据集或网络比其他数据集或网络更强大，”领导这项研究的来自九州的苏先生说。

神经网络通过在大量节点之间建立联系来工作

深层问题

麻省理工学院 (MIT) 的 Anish Athalye 也在研究这个问题，他表示，世界各地的许多其他研究小组现在正在开发“对抗性示例”，以暴露这些系统的弱点。

Athalye 先生和他的同事举的一个例子是一只 3D 打印的乌龟，图像分类系统坚持将其标记为步枪。

他告诉 BBC：“现实世界中越来越多的系统开始融入神经网络，令人担忧的是，这些系统可能会被对抗性样本颠覆或攻击。”

他说，虽然现实生活中还没有发生过恶意攻击的例子，但这些所谓的智能系统如此容易被愚弄这一事实令人担忧。众所周知，包括 Facebook、亚马逊和谷歌在内的网络巨头都在研究如何抵御对手的攻击。

“这也不是什么奇怪的‘极端情况’，”他说。 “我们在工作中表明，即使在物理世界中，您也可以拥有一个始终在观点上愚弄网络的对象。

乡村景色

“机器学习社区并不完全理解对抗性例子发生了什么或者它们存在的原因，”他补充道。

苏先生推测，对抗性例子利用了神经网络学习时形成方式的问题。

基于神经网络的学习系统通常涉及在大量节点（例如大脑中的神经细胞）之间建立连接。分析涉及网络对其所看到的内容做出大量决策。每个决定都应该引导网络更接近正确的答案。

然而，他说，对抗性图像位于这些决定之间的“边界”上，这意味着不需要太多就能迫使网络做出错误的选择。

他说：“对手可以通过添加小的扰动使它们到达边界的另一边，并终被错误分类。”

Athalye 表示，修复深度神经网络，使其不再容易受到这些问题的影响，可能会很棘手。

“这是一个悬而未决的问题，”他说。 “已经提出了很多技术，但几乎所有技术都被打破了。”

Athalye 先生表示，一种有希望的方法是在训练期间使用对抗性示例，这样网络就可以学会识别它们。但是，他说，即使这样也不能解决这项研究暴露的所有问题。

“这里肯定发生了一些奇怪而有趣的事情，只是我们还不知道到底是什么，”他说。