人工智能颠覆人类的想法已经讨论了几十年，科学家们刚刚就我们是否有能力控制一台高级计算机超级智能做出了自己的判断。答案呢？很遗憾，几乎肯定是不可能的。

关键在于，要控制一个远远超出人类理解能力的超级智能，就需要对我们能够分析的超级智能进行模拟。但如果我们不能理解它，就不可能建立这样的模拟。

开展这项研究的科学家表示，如果我们不了解人工智能将会出现的情景，那么“不伤害人类”等规则就无法设定。一旦计算机系统的工作超出了程序员的能力范围，我们就不能再设定限制了。

研究人员解释道：“与那些打着‘机器人伦理学’旗号的典型研究相比，超级智能带来了一个从根本上不同的问题。这是因为超智能是多方面的，因此有可能调动各种资源，以实现人类可能无法理解的目标，更不用说控制了。”

该研究团队的部分推理来自艾伦图灵（Alan Turing）在1936年提出的停顿问题。问题的核心是知道计算机程序是否会得出结论和答案（所以它会暂停），或者只是不停地循环试图找到一个结论和答案。

正如图灵通过一些聪明的数学证明的那样，虽然我们可以知道对于某些特定程序，但从逻辑上讲，不可能找到一种方法让我们知道每一个可能编写的潜在程序都是这样的。 这使我们回到了AI领域，在超级智能状态下，它可以将所有可能的计算机程序同时保存在内存中。

例如，任何旨在阻止人工智能伤害人类和毁灭世界的程序，都可能得出结论（并停止），或不会。从数学上讲，我们不可能绝对确定哪种情况，这意味着它是不可遏制的。

德国马克斯普朗克人类发展研究所的计算机科学家伊亚德拉赫万说：“实际上，这使得遏制算法无法使用。”

研究人员说，除了教人工智能一些道德准则并告诉它不要毁灭世界之外（没有任何算法能够绝对肯定地做到这一点），另一种选择是限制超级智能的能力。例如，它可能被切断与部分互联网或某些网络的连接。

这项新的研究也否定了这个观点，认为这会限制人工智能的应用范围。理由是，如果我们不打算用它来解决超出人类理解范围的问题，那为什么还要创造它呢？

如果我们要推进人工智能，我们甚至可能不知道什么时候会有一个我们无法控制的超级智能到来，这就是它的不可理解性。这意味着我们需要开始问一些关于我们要去的方向的严肃问题。

马克斯普朗克人类发展研究所的计算机科学家曼纽尔塞布瑞恩（Manuel Cepian）说：“一台控制世界的超级智能机器听起来像科幻小说。但现实中，已经有一些机器可以在程序员完全不了解它们是如何学习的情况下独立执行某些重要任务。”

“因此，问题是，这是否会在某个时候变得无法控制，对人类来说是危险的。”

如果朋友们喜欢，敬请关注“知新了了”！