总部位于以色列特拉维夫的人工智能(AI)公司Adversa.AI的使命是建立对人工智能的信任，并保护人工智能免受网络威胁、隐私问题和安全事件的影响。该公司开发出了攻击类的产品：针对人脸识别系统的攻击，可以欺骗算法错误解读图像。

Adversa.AI开发了一种欺骗或愚弄了PimEyes(被《华盛顿邮报》描述为地球上最有能力的人脸搜索工具之一）的黑盒攻击，该公司的首席执行官兼联合创始人亚历克斯波利亚科夫（Alex Polyakov）(这个人也可以是任何人)竟然是埃隆马斯克(也可以是其他人)。反方称这种攻击为“对抗性章鱼”，因为像章鱼一样，它具有强适应性、隐形特性和精确性。

Adversa首席技术官和联合创始人EugeneNeelou向SecurityWeek解释了原因。“提高人们对人工智能算法安全的普遍认识很重要无论是面部识别，就像这次的案例，还是其他人工智能驱动的应用:：从互联网平台、社交网络到自动驾驶汽车、语音辅助等等。”所有这些都基于深度学习，而深度学习在安全方面存在根本性问题。”

当人工智能和机器学习首次被引入网络安全领域时，它们常常被视为有时也被推销终结黑客攻击的灵丹妙药。但这永远不会是真的。历史表明，每当一种新技术被引入计算领域，很快就会出现针对或使用同一技术的攻击。

Neelou继续说道:：“(对抗式章鱼)方法是在AI红队的一个项目中开发的，该项目涉及创建多种方法来绕过基于AI的面部识别解决方案。”“我们决定检查一下我们的攻击在多大程度上适用于大规模的互联网应用程序，而且这种攻击在PimEyes(以及其他平台)上表现得出奇地好。”

过去几年里，人们对人工智能安全威胁的认识迅速增长。2019年11月，微软发表了一篇题为《机器学习中的故障模式》(Failure Modes In Machine Learning)的论文，其中对人工智能系统中有意和无意的故障进行了令人惊讶的详细分类。

Adversa.AI公司于2021年4月21日发表了一份题为《安全可信的人工智能之路》的报告。报告指出:“最近人工智能的指数级增长促使政府、学术界和产业界在过去两年中发表的研究比过去20年多。”然而，尽管人们越来越意识到人工智能可能被滥用，但公众对它可能带来的后果知之甚少除了色情行业大量使用的深度造假。

“对抗章鱼”就是为了改变这一点而开发。Neelou解释道:“我们的目标是强调在现实场景中保护关键任务AI系统的问题。“这就是为什么我们开发了适用于真实环境的高级攻击方法，面部识别是我们的研究目标之一。”

选择的攻击方法是向图像中注入噪声。“通过注入噪音来欺骗人工智能系统并不是什么新鲜事。这种类型的攻击被称为躲避，是利用人工智能系统的最常见方式。”学术界记录了数千起躲避攻击事件。然而，目前的分类方法大多集中在通用图像分类上，存在各种局限性。《对抗性章鱼》有许多不同之处，但最重要的是它不需要任何关于AI算法的知识。”

简化了也许是过于简化了这个过程，它针对波利亚科夫的两张照片。其中一张原始照片被上传到PimEyes，以确保这张脸在数据库中。第二种是将Adversa的噪声注入到图像中，让面部识别算法识别出这张照片就是特斯拉和SpaceX的首席执行官埃隆马斯克。从视觉上看，这张照片仍然是纯粹的波利亚科夫，但当PimEyes在互联网上发现它时，它摄取了这张照片，并将其解读为埃隆马斯克。

对抗章鱼就是为了改变这一点而造的。Neelou解释道:“我们的目标是强调在现实场景中保护关键任务AI系统的问题。“这就是为什么我们开发了适用于真实环境的高级攻击方法，面部识别是我们的研究目标之一。”

对抗性章鱼把理论变成了现实。Neelou说:“已知有针对生物识别安全的演示攻击和深度伪造事件。”“我们的攻击方法可能是执行此类攻击的另一种方式。然而，我们认为伪造数字身份也可以成为诈骗者有利可图的目标。我们认为这种威胁不仅仅是生物识别技术有许多人工智能算法会根据照片做出关键决定。他们可以成为更大的目标。”

一个相关的博客写道:“黑客活动分子可能会对人工智能驱动的互联网平台造成严重破坏，这些平台使用人脸属性作为任何决策或进一步训练的输入。攻击者可以通过操纵大型互联网公司的个人资料图片毒害或逃避它们的算法。微软总结的机器学习有意的故障/失败和无意的故障的总结。

网络犯罪分子可以窃取个人身份，绕过银行、交易平台或其他提供认证远程协助的服务中人工智能驱动的生物识别或身份验证系统。这种攻击在任何可以应用传统深度伪造的情况下都可以更加隐蔽。

恐怖分子或持不同政见者可能秘密地利用它在社交媒体上隐藏他们的互联网活动，不让执法部门知道。它就像是我们当前生活的虚拟世界的面具或假身份。”

Neelou认为，问题在于所有深度学习算法从根本上来说都是脆弱的，目前还没有可靠且通用的防御手段。Adversa已经测试了开源人工智能模型和人工智能在线api，发现其中大多数都很脆弱。如果人脸识别供应商将人工智能作为其核心技术，这可能是他们产品安全的最薄弱环节，因为威胁是新的。

“与传统软件不同，每个人工智能系统都是独特的，没有通用的安全补丁，”Neelou告诉《安全周刊》。“公司必须在他们的AI开发过程中纳入安全测试也就是AI红队测试。他们还应该将其实践整合到网络安全生命周期中，包括预测、预防、检测和响应能力。要想通过手工操作、使用开源工具或付费购买商业解决方案来保护自己的人工智能系统，这取决于组织。”但现实是，人工智能系统需要比现在更安全这正是设计《对抗章鱼》的目的。

目前，Adversa没有公布攻击方法的细节。但是，Neelou表示:“随着研究科学家专注于保护人工智能，我们计划发布一份白皮书，介绍我们的攻击方法的技术细节。”在这一点上，猫将不是简单的鸽子，因为对抗性章鱼，猫可能看起来是鸽子之一。

Adversa.AI公司在其项目声明中表示，他们的AI红队以增加对AI的信任为使命，不断探索评估和保护关键任务AI应用的新方法。

最近，他们发现了一种攻击面部识别系统的新方法，并决定在实践中展示它。他们的演示表明，目前人工智能驱动的面部识别工具很容易受到攻击，可能会导致严重的后果。

面部识别系统中存在一些众所周知的问题，比如可能导致欺诈甚至错误起诉的偏见。然而，他们认为，针对人工智能系统的攻击需要更多的关注。其目标是提高认识，并帮助企业和政府处理新兴的对抗性机器学习问题。

参考资源

1、https://www.securityweek.com/becoming-elon-musk-%E2%80%93-danger-artificial-intelligence

2、https://docs.microsoft.com/en-us/security/engineering/failure-modes-in-machine-learning#intentionally-motivated-failures-summary

3、https://adversa.ai/face-recognition-attack-adversarial-octopus/

系列回顾

⊙国家网信办发布《数字中国发展报告（2020年）》

⊙《网络安全“朱日和”》第40期：少年强则国强！川大附小走进网络安全“朱日和”

⊙王华：台湾的前途由谁决定？这是两岸人民共同的大事情

END