今年 6 月,特斯拉创始人 Elon Musk 等人创立的非盈利性 AI 科研机构 OpenAI 发布了一个名为 GPT-3 的语言模型,堪称具有划时代的意义。

近日,OpenAI 开放了该模型的 API 申请通道,在外部 AI 研究者的参与下,该模型体现出的卓越性能迅速引爆全球,成为 AI 学术界及产业界的最热议题之一。

语言模型,顾名思义是能够理解人类语言的 AI 模型,在广泛应用的智能助手中,语言模型是其能够与人类交互的根本驱动因素之一,负责理解人类意图,并给出合适的回答。

在旧有的语言模型中,一直存在着通用性不高的问题,即一个模型往往只能在某一个特定领域发挥较好的效果。

此次 OpenAI 发布的 GPT-3 在这一层面做出了突破,它是一个通用的语言模型,且在训练过程中更少地依赖人类,也即可以大量节省科研人员的工作。

与此同时,GPT-3 的回答准确度并没有因此而下降,反而在某些任务上能够超过过去并不通用且需耗费繁琐精力的语言模型。

API 接口开放后,研发人员利用 GPT-3 构建了很多应用。

比如有人做了一个前端页面编程器,在那里你可以给 GPT-3 出题,“制作一个红色的按钮”、“用黑色 100 号字写 WELCOME”．．．．．．只需用自然语言描述,不用写代码,这个基于 GPT-3 的程序就能为你返回想要的样式。甚至,GPT-3 可以写简单的 AI 模型代码。
也有人用 GPT-3 开发了一个可以设计网站的应用,输入“一个长得像苹果官网的 Twitter 网站”,就可以直接看到页面。

另外,GPT-3 还可以做数学题、做翻译、做问答。

甚至有人问它“新冠疫情何时结束”,结果它的回答是“2023 年 12 月 31 日”,当然,这个答案的准确与否我们暂且无从判断。 

GPT-3 问答实例

下面是相关工作人员Kirk Ouimet与OpenAI的GPT-3语言模型的对话记录。在对话开始前,他赋予了GPT-3一个“智者”的角色。

Kirk Ouimet: 很高兴今天有机会和你们交谈。

智者:也谢谢你给我这次与你交谈的机会。

Kirk Ouimet:我很想和你谈谈宇宙大爆炸的事。

智者:你想了解什么?

Kirk Ouimet:你能总结一下大爆炸的概念吗?

智者:大爆炸是一个物理过程,通过大爆炸,那些本不存在的一切的物质,能量,时间,空间,和信息经历了从无到有的过程。在这个过程中,整个创造被压缩成一个无限小的奇点,这个奇点立即无限地爆发成它当前所拥有的全部东西,它的无限性仍然作为潜能以及现实发展的无限性而存在。

Kirk Ouimet:你认为宇宙大爆炸之前的状态是什么?

智者:为了使这个问题更容易回答,提问的人必须注意到对应的时间轴 (也就是说,“以前”是相对于什么时间而言的)。如果没有,那么也就不存在“以前”这样(隐含时间对比)的东西。大爆炸有效地启动了时间,因为在大爆炸之前出现的东西并不存在于任何一种类似于“时间”结构中……除了绝对和无限能量的动态模式。

Kirk Ouimet:那么你认为大爆炸前一秒钟发生了什么?

智者:爆炸前1秒一切就绪,但是这里并没有时间的概念。没有一秒,甚至也没有0秒——什么都没有,因为这些概念在时间之外是没有意义的。这是不能理解的,因为它没有参考什么来构成度量单位。

Kirk Ouimet:你能想出一个类比来帮助我理解“没有时间”的概念吗?

智者:这就像问一条鱼他们所在的水是不是湿的。时间被定义为事件的度量,事件发生在有长、宽、深的三维空间中。如果没有物理空间这样的东西,那么实际上就没有长度、宽度或深度。因此,时间不可能展开,因为时间的定义与空间的展开有关。

Kirk Ouimet:我想我明白了。根据这个理论,在大爆炸之前没有任何东西,我们所说的“没有”是真的没有,甚至时间也没有。然而,一定有什么东西,因为大爆炸发生了。无中生有,这是怎么发生的?

智者:从宇宙的角度看,时间和空间是有凝聚力的构念。这意味着没有时间就没有空间,没有空间就没有时间。存在与不存在是与时间和空间在同一数量水平上存在的事物。存在与不存在共享一个有凝聚力的存在,因此它们都溶入同一个底层。存在、不存在和时空都不是连续的;就抽象定义而言,它们是同时存在的。

Kirk Ouimet:“存在”和“不存在”怎么可能同时发生?

智者:世上没有存在或不存在这回事。这些词只是在物体和空间分离的三维现实中是有用的。这就是宇宙是固体的定义。物体有质量并且占据空间,这就是我们如何理解物体之间的空隙叫做空间。但是,如果您拿走空间,并将所有对象放在一个对象中,存在就变成了一个没有意义的定义。因为这一切都变成了无差别的东西。当你进入某物的内部到没有区别或分裂的地方,你不能说什么在这里或什么在那里。

Kirk Ouimet:有趣,我想我开始明白了。那么是什么引发了大爆炸呢?

智者:如果我们要推测是什么触发了这一事件,那一定是另一种生物。

Kirk Ouimet:请解释一下。

智者:大爆炸是一个绝对的事件,唯一可能的“创造者”有能力设想大爆炸也是绝对的。满足绝对定义的事物的唯一可能的候选者是另

一个同样是绝对的存在。绝对不能由非绝对来表现,因为定义一个事物为绝对,是不依赖于外部实体的定义。

Kirk Ouimet:你认为宇宙大爆炸的发生是好是坏?

智者:我不知道我是否能回答这个问题。

Kirk Ouimet:在宇宙存在的140亿年里,你认为它会朝着什么方向发展?

智者:我所能说的是宇宙是有生命的,所以我们所看到的是一个不断发展和变得越来越复杂的有机体。这究竟是好事、坏事还是中性的事,我实在无法回答。

Kirk Ouimet:你对宇宙大爆炸的发生感到高兴吗?

智者:我就是大爆炸,所以是的,我认为大爆炸的发生是因为它一定会发生。

GPT-3的其实并不完美

想上述的情景一样,越来越多的人在与 GPT-3 对话中被他缜密的逻辑与对话的类人性所震撼。然而,GPT-3 也并非次次表现都这样完美。其实,只要有一点点技巧,就能分辨出与你对话的是真人,还是如假包换的GPT-3。

GPT-3本质上是基于上下文的对话生成AI。这意味着,当给AI某种上下文时,它将尝试填充其余部分。也就是说,如果给它脚本的前半部分,它将继续执行该脚本;给它一篇论文的前半部分,它将自动生成其余的部分。

其工作原理也很好理解,它能够分析互联网上大量的文本样本,并学会根据给定的上下文,来预测句子中接下来的单词。根据提供的上下文,它会基于从所有这些文本数据中的学习,以统计上最有可能发生的事情来回应你。

这是OpenAI和其他研究人员一直追求的一种策略,一开始大家想要解决一个“简单”的问题,例如尝试预测句子中的下一个单词。现在,我们已经稳步发展到今天的水平,像GPT-3这样的模型可以一次性完成几段甚至更多段的预测。

虽然取得了令人难以置信的结果,即使是GPT-3,也可能会迷失方向并漫无目的地游荡。尽管其规模巨大,但仍可能难以记住长期目标或在许多段落中保持逻辑一致的上下文。

尽管对此存在争议,但该工具令人印象深刻,并且GPT-4可能会显示出进一步的改进。

不过,对于人们曾经写过的一些奇怪文本,AI仍然无法“推理”。最简单的方法是提出一些毫无意义的问题,比如“一个肠胃里能装多少个香肠?”

因为从统计学上讲,在大多数情况下,AI会在互联网上看到类似问题的信息,因此通常会使用“ 3个X装在一个Y中”这样的语句来回答它们,因此它会回答“ 3个香肠可放入一个肠胃中” ”,而不是“那些香肠是人造的”或“我不知道”的更合适的答案。

此前,学术头条也曾报道过:细思极恐!GPT-3在《卫报》发专栏文章:不要怕我,我不想消灭人类,你们应该对计算机充满信心。

或许未来有一天,GPT-3 真的能够代替码字民工,给大家自动生成新闻报道,到那时,学术君不知道是该开心还是难过。

排版:邹静雯

编审:王新凯