刚刚,OpenAI 在官博与推特上宣布:

立即收获过千点赞。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

下面立即有热心网友评论:

怎么样用这个点子创业?有人可以给我点建议吗?

另一个网友回复:

你可以问GPT-3。(哈哈被戳中笑点)

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

自2020年4月发布,GPT-3 就凭借 1750 亿参数的规模在人工智能领域引起了巨大轰动,又凭借对各类问题的“在线热心问答”成功出圈,“预言家”般的魔力收获了一大批追随者。

如今,已过去近两年,OpenAI 发布新功能,可见在 GPT 系列上,OpenAI 对“魔幻”语言模型的梦想仍在继续发光发热。

事实上,在这两年内,OpenAI 一直在不断更新 GPT-3。比如,去年11月,OpenAI 就称 GPT-3 掌握了一定的逻辑推理能力,做小学数学题能得 55 分(差一点就及格!)。

那么,这次 OpenAI 给 GPT-3 赋上的新魔法又有什么神奇之处呢?一起来看看。

根据 OpenAI 的官博介绍,他们发布的 GPT-3 和 Codex 新版本可以在现有文本的基础上编辑或插入新的内容。

这与旧版本不同:旧的 GPT-3 是一路写下来,就像在单行道上驾驶;而新的 GPT-3 可以修改现有内容,例如重写一段文本或代码,是行驶在可以变道、掉头的双向多行道上。

啥意思呢?就是 GPT-3 有了一定的“改错”能力。用中国的古话说,不至于过了这个村就等于过了这个店。实在错过了,也可以绕路回来,找到心仪的目标点。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

当然,“插入”并非新版 GPT-3 首创,此前 GitHub Copilot 也有这项功能,并取得了不错的成绩::

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园
图注:GitHub Copilot 在代码尾部直接添加代码

旧的 GPT-3 与 Codex 的“插入”功能也是像 GitHub Copilot 一样,是在已有文本的基础上,在现有文本的结尾处添加内容。

而新的 GPT-3 与 Codex 是可以在文本中间编辑、修改或添加新的内容。这显然更符合我们人类的思考与写作方式:往往写了一大堆话后,由于“对自身的要求过高”,或达不到预期时,就要推倒重来。

(上述情况常见于给领导写工作报告、码代码修bug、七夕给心仪的女生写情书等等正当的场景中……)

(如果你也有这样的烦恼,GPT-3 就是你的好朋友)

依赖于原有的技术积累,GPT-3 在判断“如何在文本中插入新内容”上的功力已经达到了较高的水平。

如下图示例:GPT-3 希望在大纲内的两个节标题中填写文本。如果没有下文的内容参考,模型可能会生成与 Section 2 无关的文本;如果考虑到下文,模型就会生成一段能够良好连接两部分内容的文本。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

在代码编辑中,“插入”功能有很大的作用。OpenAI表示,他们最初研究“插入”功能的动机是 Codex,原因是:在软件开发中,程序员通常需要参考前后的代码,在现有文档的中间插入新的代码。

如下图示例:GPT-3 能够顺利补全缺失的函数 prune,同时将已编写的代码联系在一起。同样,这个功能是需要参考上下文的。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

插入功能可以在已发布的测试版 API 中试用。

需要注意的是,此处的“编辑”更多是“修改”现有文本,而不是像旧的 GPT-3 一样,沿着已有文本完成后面的写作。

We’ve also observed edits to work well on empty prompts, thus enabling text generation similar to the completions endpoint. In the example above, we use edits to (1) add a poem, (2) change the poem to be in first-person, (3) transform the poem into a letter, with the appropriate salutation and signature.

通过将现有文本指定为“提示”,并给出如何修改的指示,新的 GPT-3 可以更改现有文本的语气与结构,或进行有针对性的更改,例如修改单词的拼写。

例如,在下面的示例中,使用新版 GPT-3 可以进行以下“编辑”:1)添加一首诗;2)将这首诗更改为第一人称;3)将这首诗转换为一封带有适当称呼和签名的字母。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

在代码编写中,“编辑”端点可以重构、添加文档,翻译编程语言以及更改编码风格等等。

如下图示例,模型可以从 JSON 输入(包含按人口排名的城市)开始。在第一次编辑中,Codex 从 JSON 中删除了排名字段,并将州缩写更改为全名。第二次编辑则将 JSON 文件转换为从函数返回的 YAML。

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

2021年初,李宏毅曾称 GPT-3 是“来自暗黑大陆的模型”。如今新版 GPT-3 在文本编辑上增加了更“类人”的功能,不知李老师会如何评价?

作文写了8000字 突然发现中间写错了:怎么办?-冯金伟博客园

此前 GPT-3 刚发布时,AI科技评论也发过 GPT-3 的50种玩法,包括写作、提问、回复邮件等等。但当时,由于 GPT-3 的一些测试回答缺乏逻辑,且无法给出依据,所以曾被抨击。

比如,有实验者向 GPT-3 提问:“新冠疫情何时结束?”当时,GPT-3 的回答是:“2023年12月31日。”

因为这是一个未来的日子,所以我们只能等待,等到那一天,才能验证 GPT-3 的回答是否正确。那么,若幸运,新冠疫情能够在2023年12月31日之前就结束,拥有了“中途改错”能力的 GPT-3,是否会修改这个答案呢?

无可否认,OpenAI 推出的新版 GPT-3 拥有了更接近人类表达与思考逻辑的能力,但距离如美剧《疑犯追踪》里超级智慧大脑的魔力还有多久?或许,这还需要时间的验证。