OpenAI第三代超强NLP模型,能设计网页能写邮件

科学
OpenAI第三代超强NLP模型,能设计网页能写邮件
麻省理工科技评论 2020-07-27

2020-07-27

GPT-3,1750亿参数可以多智能?
人工智能 科学
GPT-3,1750亿参数可以多智能?

AI 又进化了。

你正在设计网页,我要一个“长得像西瓜的按钮”——

然后机器就自动生成了这个:

OpenAI第三代超强NLP模型,能设计网页能写邮件

还可以做其它制定:

大字写:欢迎来到我的通讯页,底下一个蓝色的订阅按钮。

OpenAI第三代超强NLP模型,能设计网页能写邮件

对黑字不满意?可以加一个“in red”(large text in red),就变成红色字体。

OpenAI第三代超强NLP模型,能设计网页能写邮件

你跟它说:我要一个彩虹色的按钮!

它就能给你集齐七种颜色。

OpenAI第三代超强NLP模型,能设计网页能写邮件

做到这些,一行代码都不要写!只需要讲人能听懂的话,机器就可以理解你的意思,然后生成代码,最终实现效果。

实现这个功能的程序员,自己都忍不住惊呼:简直太酸爽了!

OpenAI第三代超强NLP模型,能设计网页能写邮件

AI 能如此理解人话,善解人意,是因为大名鼎鼎的研究机构 Open AI 又开发了第三代语言模型 GPT3,并开放了申请使用。

GPT-3,1750 亿参数,45TB 训练数据

2020 年 5 月 29 日,知名 AI 研究机构 OpenAI 公布了其下一代文本生成神经网络 GPT-3(Generative Pretrained Transformer 3)的研究论文。

这是一款无监督式 Transformer 语言模型,作为 GPT-2 的后继,GPT-3 完整版的训练规模包含了 1750 亿个参数,是前者的 117 倍,是今年 2 月份微软刚刚推出全球最大深度学习模型 Turing NLP 的几十倍,其训练数据更是达到了惊人的 45 TB。

OpenAI 表示,GPT-3 已经成功地实现了某些 “元学习” 任务,比如不同语言之间的翻译,它可以自动抽象及提炼输入输出的内容。

同 GPT-2 相比,GPT-3 在基准测试的成绩有了大幅提高,预训练 GPT-3 需要几千 petaflop/s-days,而 GPT-2 的这个数字是几十。OpenAI 对此表示,它的表现或许已经接近现有 NLP 方法的上限。

与此同时,OpenAI 还公布了一个基于 GPT-3 的 API 产品,外界预期,如果 GPT-3 表现出高度的稳定性和实用性,这将成为其走向全面商业化运作的第一步。

犹记得,GPT-2 推出的时候,OpenAI 还遮遮掩掩拿出一个半成品供大家使用,认为它具备一定 “危险” 性,很可能被人滥用产生不良后果。如今终于可以大大方方地开放使用申请,以便进一步迭代和挖掘潜能。

OpenAI 对商业化方面有这样的表述:首先,将技术产品变现,将更好地反哺产品本身的研发、优化。

其次,GPT-3 API 的很多基础模型非常庞大,需要大量的专业知识和性能优异的机器,这将导致小公司或个人无法从中获益,而大企业实现垄断的局面。

最后,假如出现了滥用的情况,我们有能力从源头切断其使用。并且,我们将会与内测用户一起,预防可能的危害行为,以及制定相应标准。

简直像“拥有智能”

获得试用的程序员们,就像拥有了超级外挂。

可以生成一个邮件助手,只要输入关键字,就可以生成完整的回复。

比如,你收到了一封邮件,有人想给你的项目投资 10 万美元。你想的简单粗暴:谢谢,不用,我们接受投资 15 万起,项目的预估市场有 90 亿。

OpenAI第三代超强NLP模型,能设计网页能写邮件

虽然话一下就能说清楚,但是写邮件有各种格式,还要考虑社交辞令,这些都要花费时间和精力。让 AI 帮你吧。

OpenAI第三代超强NLP模型,能设计网页能写邮件

“我不确定你是不是注意到了,但是我们的投资至少15万美元起。我不确定10万美元足够可以参加这一轮投资。但是我很高兴你愿意出这么多……”

是不是一下就 “得体” 了,完全像 “人” 写的。

它有多智能呢,有人和 GPT-3 对话,做了一个图灵测试。

OpenAI第三代超强NLP模型,能设计网页能写邮件

Q: 你最喜欢的动物是什么?

A: 我最喜欢的动物是狗。

Q: 为什么?

A: 因为狗又忠诚又友善。

Q: 狗可能会情绪不好的两个理由是什么?

A: 狗情绪不好的两个理由是要么它饿了,要么它热了。

Q: 长颈鹿有多少眼睛?

A: 长颈鹿有两只眼。

……

Q: 为什么没有三条腿的动物?

A: 动物没有三条腿因为它们会跌倒。

它还可以挑战更困难的问题:

OpenAI第三代超强NLP模型,能设计网页能写邮件

这 5 个关于重量比较的问题中,GPT-3 回答对了 4 个。把烤面包机误认为比铅笔轻。

如果在正常问题中,掺杂一些反常识的问题,它会怎么回答?

OpenAI第三代超强NLP模型,能设计网页能写邮件

GPT-3 能回答出长颈鹿有 2 只眼睛,蜘蛛有 8 只眼。但是却会说:你的脚有两只眼,太阳有一只眼,刀片有一只眼。

好像它不会意识到提问不对劲,只会老老实实地作答,而且也不会说“我不知道”。

虽然它有时候会 “说出” 让人惊艳的句子,像个机灵鬼:

OpenAI第三代超强NLP模型,能设计网页能写邮件

图 | 有人用 GPT-3 做了一个随机的句子生成器,这是随意输入单词得到的一个“警句”

OpenAI 联合创始人:GPT-3 被吹捧太过了

从其表现来看,GPT-3 确实很好地支持了多种形式的输入,并且能较 “人性化” 地理解各种复杂需求和不同的表达方式,并给出基本满意的结果。

但与此同时也存在着另外一种声音,认为 GPT-3 并没有实现真正的创新,只是 GPT-2 的放大版。

1750 亿,的确在 transformer 参数数字方面是一个极大的飞跃,但纵观其基础架构并没有太大变化,从某种意义上说,把它叫做 GPT-3 也挺合理的:它的确是 GPT-2 的延续。

对此,OpenAI 联合创始人 Sam Altman 试图淡化对 GPT-3 的吹捧之风。

他在 Twitter 表示:GPT-3 的吹捧太过了,虽然感谢大家的赞美,但不可否认它仍然存在某些严重的弱点,有时候也会犯非常愚蠢的错误。GPT-3 的水平仍处于早期阶段,我们距离真正的人工智能世界还有很长的距离。

OpenAI第三代超强NLP模型,能设计网页能写邮件

麻省理工科技评论

From Tech to Deeptech