人工智能的最新进展引发了几个道德困境。也许其中最重要的是人类是否能够控制自主机器。

由人工智能驱动的机器人负责家务或自动驾驶车辆（如亚马逊）越来越常见。虽然这类技术使生活更轻松，但也可能使生活更复杂。

一个国际研究小组警告说，创建过于强大和独立的软件有潜在的风险。通过一系列的理论计算，科学家们探索了如何控制人工智能。根据《人工智能研究门户杂志》发表的研究报告，他的结论是不可能。

“控制世界的超级智能机器听起来像科幻小说。但是，已经有一些机器能够独立执行某些重要任务，而程序员却不完全了解他们是如何学习的，这种情况在某种程度上可能会变得无法控制，对人类是危险的，”这项研究的合著者曼努埃尔塞布赖恩在马克斯普朗克人类发展研究所说。

科学家们尝试了两种控制人工智能的方法。一种是将它与互联网和其他设备隔离开，从而限制了它与外界的联系。问题是，这将大大降低其执行为其创建功能的能力。

另一种是设计一种“理论上的遏制算法”，以确保人工智能“在任何情况下都不会伤害人”。但是，对当前计算范式的分析表明，无法创建此类算法。

“如果将问题分解为理论计算的基本规则，结果表明，指示AI不要破坏世界的算法可能会无意间停止其自身的运行。如果发生这种情况，我们将不知道遏制算法是否会继续分析威胁，或者是否会停止遏制有害的AI。实际上，这使遏制算法无法使用，”另一位研究人员Iyad Rahwan解释说。

基于这些计算，问题在于没有算法可以确定AI是否会损害世界。研究人员还指出，人类甚至可能不知道什么时候超级智能机器才出现，因为确定一种设备是否具有比人类优越的智能与遏制问题是同一领域。