ChatGPT爆火之后，AIGC往何处去？

来源：“峰瑞资本”（ID：freesvc），作者：陈石

图片来源：由无界版图AI工具生成

“ChatGPT”可能是从2022年底至今，最为出圈的科技热词之一。GPT是Generative Pre-trained Transformer的缩写，表示生成型预训练变换模型。这个由OpenAI研发的语言模型激起了人们对AI技术新一轮的热情。人们与ChatGPT畅谈古今，请它翻译文本、编代码、写文章。（p.s.猜猜看，这篇文章是不是ChatGPT写的？）

爆火背后，我们试图对ChatGPT有更多理解。如果说以ChatGPT为代表的AIGC（AI-generated content，AI生产内容）本质上是技术革命，那么，脱离了对技术的认知来讨论这个议题，难免会出现偏差。

在这篇报告，我们会先梳理ChatGPT发展的历史沿革：它从哪里来，到底是什么技术在驱动它向前。我们的思考也会围绕人们对它的讨论而展开：它能火多久，有机会成为“人类大脑”或通用人工智能（AGI）吗？同样重要地，我们会把落点放在创投行业，来探讨与AIGC相关的创业及投资机会。

01 火爆了的ChatGPT，到底是什么？

▍ChatGPT的本源——语言模型

ChatGPT其实是一种语言模型。依据OpenAI官方的介绍，ChatGPT已具备理解和生成人类语言文本的能力，可以跟人类轻松对话。

图片来源：OpenAI官网

人类的语言非常复杂，而比语言更复杂的，是创造语言的思维。人们曾经试图给语言建模，但是一直没有取得显著性的成功。而ChatGPT则为语言建模打开了新的窗口，这也是它的诞生轰动全球的原因之一。

Wikipedia对语言模型的定义是：“单词序列的概率分布，给定任何长度为m的单词序列，语言模型通过对语言的文本语料库进行训练，来生成概率分布”。斯坦福的公开课说得更为直接：“语言模型就是用来预测下一个出现的词的概率”。（斯坦福的定义概括了GPT的核心原理，而不是BERT类语言模型的原理。或许这能从侧面反映，人们已将GPT采用的技术路线，视为主流语言模型路线。）

GPT系列的语言模型，其主要目标是预测下一个单词。比如，前半句是“the students opened their”，语言模型要预测的是下一个单词出现“books”或者“laptops”或者“exams”等词汇的概率分别是多少。语言模型的技术原理虽然简单，但是却衍生出了ChatGPT这样智能、有复杂应用场景的产品。

▍ChatGPT可能是当前最成功的大型语言模型，我们正在经历iPhone Moment

ChatGPT可能是目前最成功的语言模型，人们把当下这个ChatGPT诞生的时刻称为“iPhone moment”。

GPT是Generative Pre-trained Transformer 的缩写。Transformer神经网络算法是当前最新的一种算法模型，我们会在下文展开。GPT系列模型都是语言模型，是新型神经网络算法、新型模型训练方式加上海量数据算力多重因素叠加产出的成果。

GPT模型有几个主干版本，从 GPT-1、GPT-2、GPT-3演进到最新的GPT-3.5版本。

当下人们使用的ChatGPT是在3.5版本的基础上，专门针对人类需求做了大量微调，引导模型输出更符合人类需求的结果。这让GPT模型逐渐“社会化”，变得更像人。经过微调的ChatGPT“情商”变高了，不再只是个话痨，也不再那么口无遮拦。

▍ChatGPT的诞生过程

图片来源：微信公众号@AI语者

在ChatGPT问世之前，GPT模型经历了怎样的发展历程？

2017年6月，Google发布Transformer这一神经网络算法模型，它为大型语言模型的发展奠定了基础。

一年之后，OpenAI公司推出了GPT-1，GPT-1采用语言模型预训练+微调训练两阶段的训练方法，在问答和常识推理、语义相似度、分类等任务中，取得了还不错的语言任务执行效果。

2018年10月，Google推出另一个语言模型——BERT，效果超过GPT-1。

图片来源：知乎@雅正冲蛋

GPT和BERT都是基于Transformer衍生出的算法，但在技术路线上各有侧重。GPT基于 Transformer 右边部分，叫解码器。BERT基于 Transformer 的左边部分，叫编码器。

GPT的技术原理是预测下一个词，你可以看作是“文字接龙”，你写出前面的句子，由GPT来猜下一个词。但BERT更像是“完形填空”，其技术原理是把一句话中某个词给遮挡住，然后请BERT来猜。

解码器擅长创作，编码器擅长理解，当时它们要做的更多是屏蔽语言模型（Masked LM，类似“完形填空”）、相邻句子判断（Next Sentence Prediction，判断句子是否能相连）这类偏阅读理解的任务，因此BERT占了上风。