OpenAI的巨大GPT-3暗示了AI语言模型的局限性

一年多以前，总部位于旧金山的人工智能公司OpenAI震惊了世界，展示了计算机形成自然语言句子甚至解决问题的能力的巨大飞跃。就像完成一个句子，并撰写长篇文章一样，人们觉得这很人性化。

该团队的最新工作表明，OpenAI的思想在某些方面已经成熟。最新的GPT-3出现在上周，由上一版本的一些相同作者（包括AlecRadford和IlyaSutskever）以及其他一些合作者（包括来自Johns的科学家）共同创造了更多风声霍普金斯大学。

正如它所说的那样，它现在是一种真正的怪物语言模型，比以前的语言多了两个数量级的文本。

但是在更大更好的特技中，OpenAI团队似乎在朝着某些真理迈进，就像大卫·鲍曼博士在电影2001年末似乎朝着已知极限迈进一样。

在72页的论文的结论部分埋地，语言模型是为数不多的射击学习者，上周公布的的arXiv预打印服务器，是一个相当惊人的认可。

“本文描述的通用方法的一个更根本的局限性-扩大任何类似LM的模型，无论是自回归模型还是双向模型-最终都可能会遇到（或可能已经陷入）预训练目标的局限，”写作者。

作者的意思是，建立一个仅预测任何句子或短语中下一个单词的概率的神经网络可能会有其局限性。仅使其功能更强大并用更多的文本填充它可能不会产生更好的结果。这是一篇论文中的一个重要承认，该论文主要是庆祝在问题上投入更多计算能力的成就。

与使用较少参数的GPT-3版本相比，使用1,750亿个参数的GPT-3的准确性提高得更快。

布朗等。

要了解为什么这么重要的结论，请考虑我们如何到达这里。OpenAI在语言方面的工作历史已成为一种方法稳步发展的历史的一部分，随着该技术变得越来越大，其成功越来越大。

原始GPT和GPT-2都是对所谓的Transformer的改编，Transformer是Google在2017年首创的一项发明。Transformer使用称为注意力的功能来计算单词在给定周围单词时出现的可能性。OpenAI在一年前表示不会将源代码发布到最大版本的GPT-2时引起争议，因为他们说，这可能会落入错误的人手中，并被滥用以虚假新闻之类的东西误导人们。

新论文将GPT扩大到一个新的水平。GPT-2的最大版本（未以源代码形式发布）是15亿个参数。GPT-3是1,750亿个参数。参数是神经网络中的一个计算，对数据的某些方面施加较大或较小的加权，以使该方面在数据的整体计算中具有较大或较小的突出性。正是这些权重使数据成形，并使神经网络对数据有了学习的认识。

随着时间的推移，权重的增加导致GPT-2以及其他Transformer衍生产品（例如Google的BERT）的amazIng基准测试结果令人印象深刻。

没关系，很多人指出，这些语言模型似乎都不是真正以任何有意义的方式理解语言的。他们正在接受测试。

而此最新版本在数量上有所进步。与GPT-2和其他基于Transformer的程序一样，GPT-3在CommonCrawl数据集上进行训练，CommonCrawl数据集是从网络上抓取的将近一万亿个单词的语料库。作者写道：“数据集和模型大小比用于GPT-2的数据集和模型大小大约大两个数量级。”

具有1,750亿个参数的GPT-3能够实现作者所说的“元学习”。元学习意味着不对GPT神经网络进行重新训练以执行诸如句子完成之类的任务。给定一个任务示例，例如不完整的句子，然后是完整的句子，GPT-3将继续完成给出的所有不完整的句子。

与某些经过微调的Transformer版本（仅专门执行该任务）相比，GPT-3能够在单一提示下学习如何完成一项任务。因此，GPT-3是总体性的胜利。只需输入大量文本，直到其权重达到理想水平，它就可以继续在许多特定任务上执行得很好，而无需进一步开发。

那就是故事在新报纸上引人注目的结局。在列出了GPT-3在语言任务方面令人印象深刻的结果后，作者指出了这些缺陷，这些问题涉及从完成句子到推断语句的逻辑含义再到语言之间的翻译。

“尽管GPT-3在数量和质量上都取得了很大的进步，特别是与其直接的前身GPT-2相比，它仍然有明显的缺点。”

这些弱点包括无法在所谓的对抗式NLI上取得明显的准确性。NLI或自然语言推理是一种测试，程序必须确定两个句子之间的关系。来自Facebook和北卡罗来纳大学的研究人员推出了一种对抗版本，在此版本中，人类创建了句子对，这些句子对计算机很难解决。

作者写道，GPT-3在对抗性NLI之类的事情上“比机遇要好”。更糟糕的是，作者已经将系统的处理能力提高到了1,750亿个权重，但他们不确定为什么他们在某些任务上有所欠缺。

那就是他们得出上述结论的时候，也许仅仅是将庞大的文本语料库输入到巨型机器上并不是最终的答案。

下一个观察结果更加令人震惊。作者写道，试图预测语言将要发生的整个实践可能是错误的方法。他们可能瞄准了错误的地方。

他们写道：“有了自我监督的目标，任务说明就依赖于将期望的任务强加到预测问题中，而最终，最好将有用的语言系统（例如虚拟助手）视为采取目标导向的行动，而不是采取目标导向的行动。只是做出预测。”

作者将其留给其他时间来指定他们将如何进行这一相当有趣的观察。

尽管有令人着迷的观察，那就是更大的不一定最终会更好，但是GPT-3在许多任务上的改进结果可能会激发而不是减弱人们对越来越大的神经网络的需求。目前，GPT-3具有1750亿个参数，是大型神经网络的王者。AI芯片公司Tenstorrent在四月的一次演讲中描述了未来具有超过一万亿个参数的神经网络。

在机器学习社区的很大一部分中，越来越多的语言模型将保持最新状态。