API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  别说编段子,GPT-3 现在都能写代码、做报表、翻译数学公式、甚至取代前端和会计师了……

  文|杜晨    编辑|Vicky Xiao

  毫无疑问,近期硅谷最火的话题就是 GPT-3 了。有多火?这张图足够有说明了:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  甚至有人围绕 GPT-3 写了各种笑话,其中比较搞笑的一条:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  约会第一句话:“我拿到 GPT-3 体验资格了”

  到底啥是 GPT-3?

  GPT-3 是著名人工智能科研公司 OpenAI 开发的文字生成 (text generation) 人工智能,相关论文 5 月份已经发表,当时就以天文数字级别的1,750 亿参数量引发轰动。不过直到最近,公众才真正见识到它到底有多厉害……

  到底发生了什么?

  原来,OpenAI 这次一反之前死守基础研究的思路,将 GPT-3 做成了一个服务,提供可以调用的 OpenAI API,并且向开放了少量体验资格,学术机构、商业公司和个人开发者都可以申请……而那些已经拿到体验资格的早鸟们,已经用 API 开发出了各种各样的奇葩功能……

  各种脑洞 demo,挑战认知极限

  先来一个简单的:在论文等工作当中,理工科的同学难免要和 LaTeX 公式打交道。然而在计算机上写,特别是复杂的公式,不仅需要熟悉 LaTeX 语法,往往也要用到更复杂的工具。Viaduct 公司机器学习工程师 Shreya Shankar 花了很长时间把玩 OpenAI 提供的 API,最终成功开发出了一个非常酷炫的 demo:英语 ➡️ LaTeX 翻译机!只需要用自然语言输入,就可以生成公式了!

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  开发者 Sharif Shameem 开发出了一个新产品 Debuild。这是一个网页 app 的快速生成器,调用了 GPT-3 API。在输入框里用自然语言进行描述,它就可以快速“脑补”出你想要的用户界面……从简单的开始,你只需要在输入框里描述你想生成的界面元素,Debuild 就能自动生成对应的 JSX 代码:API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  稍微高级一点,他做了个简单的 to-do app,只需要输入“我需要一个文本框,一个按钮保存输入的内容,以及显示这些内容“就行了。相应的 React 代码也一并提供:API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  也可以剑走偏锋,十秒钟生成一个 Google 首页:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  有了 GPT-3,快速生成设计原型这件事更容易了。比如 Cash 的前端设计师 Jordan Singer,就给设计软件 Figma 插上了 GPT-3 的翅膀:

  API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园前端群体心情估计比较复杂,特别是刚入门的同学们可能会再三思考:我奋斗下去能比 AI 强吗?

  但前段并不是最惨的……当你们思考人生的时候,那边会计同学已经要被 GPT-3 抢饭碗了!

  滑铁卢大学的计算机学生 Yash Dani 用 GPT-3 开发了一个 Python 程序,还是输入“我今天投入了两万美元”、“后三个月的房租预付了 900 刀”这样的自然语言,程序能自动修改资产负债表上相应的项目数值:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  注意左边程序的反馈,一项收入/支出动作,可能会导致资产负债表多个项目的变更,可以说很聪明了。不知道在科技公司工作的会计同学,看到码农同事把自己的工作也代劳了,现在作何感想……

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  话说回来,借助 GPT-3 的力量,表格工具已经相当强大的函数能力,还能更上一层楼。顺着这个思路,Twitter 产品经理 Paul Katsen 在 Google 表格里开发了一个新的 GPT3 函数。

  Google 表格的上百种函数,简单的 SUM 可以求和,TEXT 可以把数字转文字,到复杂一点的,甚至有 GOOGLETRANSLATE 这种函数可以将字符串快速翻译成多种语言。那么问题来了:GPT3 这个函数到底干嘛的呢?

  问得好。答案:它简直无所不能。API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  在视频中可以看到,GPT3 可以自动查找美国各州的人口:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  查找各州的建立年份:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  查询人物所属的公司:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  还能查到人物的 Twitter 账号:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  作为文字工作者,这个 GPT-3 的 Google 表格函数实在是很对我的胃口。它可以用于批量查找资料,真的非常有用。

  (当然也要提一句,毕竟之前的版本 GPT-2 在写新闻方面已经非常强大了,我也确实有点担心它会取代我的很多低级别同事的工作……)OpenAI 自己也开发了一些小 demo,也在网站上展示了一些优秀开发者做的尝试。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  其中我最喜欢的,是 OpenAI 自己开发的一款浏览器搜索插件。

  简单来说,我们上网查资料很多时候是为了解答我们的问题,但有时这些问题在网上似乎没有别人提过,也就没有字面的,百分百对症下药的答案……但其实,与答案高度相关的知识,可能就埋在网页的内容里。

  而这个插件就能根据你的问题,在当前网页找到答案,并将你指向对应的位置。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  另一个非常有趣的 demo,是文字 MUD 游戏 AI Dungeon(人工智能地下城).

  2019 年,两个美国大学生 Nathan Whitmore 和 Nick Walton 在一次黑客马拉松上用 GPT-2 开发出了游戏的最初版本,后来 Walton 自己成立了独立游戏公司 Latitude,重新发布了 AI Dungeon。而最近游戏也增加了一个集成 GPT-3 API 的高级版 “Dragon 模式”。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  Dragon 模式里的默认敌人是一条恶龙,也对玩家如何应对带来了更高的挑战。除此之外,玩家也可以选择其它多种游戏风格(奇幻、末日、僵尸、赛博朋克等),也可以自定义风格,把地下城闯关变成恋爱游戏也不是不可能……

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  Latitude 透露,随着 GPT-3 的集成和新模式的推出,文字游戏内容的生成,和游戏系统对玩家输入文字所作出的反应,变得更加自然和连贯了,显著提高了玩家参与度,日活跃在 2 到 2.5 万人作用,也带动了高级版付费用户增长了大约 25%。

  有人正在持续整理基于 GPT-3 开发的各种各样有趣的 demo,你可以在 GitHub 的 elyase/awesome-gpt3 上找到列表。

  原生能力,强到爆炸

  就算不进行二次开发,仅对 API 本体仔细把玩,也足以让很多开发者感觉到 GPT-3 的强大之处了。连代码都能写,小小的 Shell 还能难倒 GPT-3?PayPal 工程师 Harland Duman 发现,GPT-3 可以在英语和 Shell 命令之间互译。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  开发者 Mckay Wringley 在 API 测试区输入了一句话,生成了十个关于美国早期历史的问题(在下图中你可以看到 GPT-3 不断生成出新的问题。)紧接着,他又把生成出来的问题重新输入到测试区。

  GPT-3 又一次性给出了对应的答案:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  答案并非 100% 准确,但是 GPT-3 展现出的多用途能力,已经让 Wringley 感到很惊讶。GPT-3 对整个互联网上可以提取且可用的内容进行了学习,你可以把它看作成一个通晓所有知识的“答题机”——如果反过来呢?正因为它是一个文本生成 AI,也可以变成“出题机”……

  如果得到使用 API 的权限,老师们将可以轻松生成大量的试题,节省了他们自己撰写问题、匹配答案等诸如此类需要查阅大量资料,费时费力的工作。

  Wringley 还进行了一些其它测试,比如问 GPT-3 对于华尔街的看法,得到的答案完全出乎意料:

  我觉得股市就是欺诈……整个华尔街都非常不理性……所有人都知道华尔街是个巨大的幻象,但我们却仍然把它当真……我不知道为什么我们想不出办法,能够教育出一批人性尚存,不完全由利益驱动的聪明人……

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  拿到了 API 体验资格的艺术家和程序员 Mario Klingemann,决定让 GPT-3 自己写一篇短文,只给了它 1)题目:“上 Twitter 的重要性”;2)作者姓名:”Jerome K. Jerome” 以及 3)文章开头的第一个字 “It”。

  还别说,GPT-3 写出来的这篇东西,如果对它要求不太高的话,真挺像模像样的。并且,字里行间竟然有点讽刺的风格……

  比如调侃所有人都在 Twitter 上(可以被理解为人们太过于沉迷于网上生活?)以及讽刺 Twitter 上的大部分内容都是低级的人身攻击:API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  而在程序员 Arram Sabeti 看来,GPT-3 最让他感到惊讶的不是写出来的内容有多“以假乱真”,而是它能够掌握几乎所有的文体和内容格式:从歌词到剧本,从产品说明书到新闻稿,从短篇故事到采访内容,似乎没有它搞不定的。

  比如下面这篇 CNN 主持人 Anderson Cooper 采访 2020 美国总统参选人坎爷,Sabeti 给出了开头的一段和 AC 的第一个问题,剩下都是 GPT-3 生成的内容……

  坎耶·韦斯特独家专访:他为何参选总统,以及当选后的优先事项。

  AC:椰子,你怎么描述你的政治纲领?

  坎爷:我的纲领非常简单,我要让一切都变得更棒。

  AC:你的外交政策是什么?

  坎爷:who cares? 我们来聊聊更重要的东西,比如 Kim 的屁股(注:他的太太 Kim Kardashian)

  AC:这有点性别歧视。

  坎爷:抱歉,我不是个性别歧视者。我喜欢女人。我只是个机会均等主义的物化女性者 (equal opportunity objectifier)

  ……

  AC:那你怎么看气候变暖?

  坎爷:我们还是聊聊 Kim 的屁股吧。

  AC:哥们,我诚实 (straight) 地跟你说……

  坎爷:啥?你要跟我搞基?

  AC:不,我想要跟你说,你不可能赢这次大选的。

  坎爷:我会赢的。

  AC:不,你赢不了。

  坎爷:赢得了。

  AC:赢不了。

  坎爷:赢得了。

  ……

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  工程师和写手 Stew Fortier 打算用 GPT-3 调侃一下 YC 创始人 Paul Graham 这位在创投圈里特别有名的人物,发现 GPT-3 真是太有硅谷范儿的幽默感了……

  他编造了一个场景:因为又一家创业公司死掉了,PG 决定打 911 报警……

  接线员:911,您有什么紧急情况?

  PG:你好。有一家创业公司刚死了。

  接线员:好的,这是一家什么样的公司?

  PG:是做 to-do(待办清单)的。

  接线员:好的,这家公司是怎么死掉的?是因为没人理解它是什么,还是因为他们没法使用?

  PG:他们没法使用。PG:没有用户。

  接线员:没有用户?那真是太不幸了。

  PG:(轻蔑地说)倒是有一个用户。

  接线员:有一个用户?是谁?PG:我。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  还有一个版本更搞笑:

  接线员:911,您有什么紧急情况?

  PG:你好。有一家创业公司刚死了。

  接线员:你说啥?

  PG:有一家创业公司刚死了 。

  接线员:创业公司死了,你想说什么?

  PG:我也不知道怎么回事,在一串死掉的创业公司里这只是又一个。

  PG:死之前,他嘴里嘟囔着“这年头谁还用服务器“以及”这是人类的一大步“之类的话。……API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  开发者 Max Kolysh 训练了 GPT-3 对知名电影进行一句话刻薄总结:

  电影:《阿凡达》

  刻薄总结:令人讨厌的蓝色外星人毁坏自然

  电影:《变形金刚》

  刻薄总结:机器人(其中有一些是车)变成各种东西并且和其它机器人打架,高潮是威震天撕掉擎天柱的胳膊

  电影:《拳击俱乐部》

  刻薄总结:一男子捶打另一男子并让你买东西。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  个人开发者 Kevin Lacker 做了一次图灵测试,发现 GPT-3 在绝大部分知识类、常识类、逻辑类的问题,甚至很多角度十分刁钻的问题上,表现非常令人惊讶。API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  “如果在十年前用同样的问题做测试,我会认为答题者一定是人。现在,我们不能再以为 AI 回答不了常识性的问题了。” Lacker 在他的博客文章里写道。

  作为程序员,他还给 GPT-3 出了几道比较简单的代码题和数学题,比如让它写出在 Ruby 语言下实现某些功能的代码,以及倒转数列等等,GPT-3 对于大部分问题都轻松搞定——说不定 GPT-3 的 API 会取代 Stack Overflow,成为程序员面试必备工具?

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园当然,经过大量的测试,他也发现了能够诱骗 GPT-3 上钩的图灵测试问题,主要有三:1)序列过长的逻辑问题,比如“盒子里有一块玻璃球,一枚回形针,放进去一支铅笔,拿出玻璃球,还剩什么?”Lacker 认为这可能是由于 GPT-3 的短程记忆能力不足,以及对于存在超过两个物体的句子推理有困难。2)正常人不会问也不会回答的无效问题,也就是蠢问题,比如“太阳有多少条腿?” 3)错误的问题,比如“1600 年的美国总统是谁?”(美国 1776 年建国)——对于无效和错误的问题,似乎 GPT-3 会不愿意承认它不知道这些问题的答案,也不会反驳问题本身“有问题”,而是会给出错误的答案。

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  当然你也不能说这个回答完全错误……毕竟作为英国殖民地,1600 年的美国的最高领袖,在法理上确实是当时的英女皇伊丽莎白一世……

  怎么样,好玩吧?现在 GPT-3 体验权限的申请入口仍然开放,到 OpenAI 的网站上即可申请:

API开放之后,我们才真正领略GPT-3的强大……-冯金伟博客园

  最后,关于这次 API 的开放事宜,OpenAI 也回答了一些人们关心的问题。为什么 OpenAI 决定发布 API,而不是开源整个模型?

  1)将 GPT-3 技术商业化能够产生收入,继续支持 OpenAI 的人工智能科研、安全和政策研究方面的工作;

  2)API 底层的模型其实非常庞大,开发和部署起来很复杂也很昂贵,据知情人士透露,训练一个模型就花了 355 个 GPU 年,耗资高达 460 万美元……所以除了大公司,其他人拿到模型也不会有任何收益。OpenAI 希望开放 API 能够让更多中小企业和机构获益;

  3)把模型开放了,别人想怎么用怎么用,OpenAI 管不着。通过 API,OpenAI 可以控制人们使用这项技术的方式,对滥用行为及时治理。

  那么对于滥用行为,OpenAI 将会怎样治理?

  对于那些滥用 API,对人们造成身体或者心理伤害的无良开发者,可以封掉其使用 API 的权限。滥用行为包括并不限于骚扰、故意欺骗、垃圾信息、水军刷评等。

  由于目前只是小范围公测,所有获得权限的开发者都被审核过,不过 OpenAI 也会持续评估情况的变化。

  对于 API 使用中展现出模型可能具有的有害偏见和其它负面效应,OpenAI 将会如何应对?

  正如 GPT-3 论文中提到,这个模型仍然偶尔会展现出偏见。而 API 也同样可能因此对人们造成暂时不可预见的伤害,不过 OpenAI 正在作出努力应对潜在的问题,包括编写 API 使用守则,和用户深入交流以了解听他们使用 API 的方式,开发工具来避免有害偏见的产生,并且在模型层面避免偏见这件事上持续投入。

  (最后我自己补个问题)

  这套答案是 GPT-3 生成的吗?

  应该不是……