GPT 成熟之路官方笔记 | OpenAI 开发者日

文章来源：量子位

图片来源：由无界 AI 生成

ChatGPT产品打造的细节，现在OpenAI自己交了个底。

并且这波干货分享真是信息量满满，包括但不限于：

ChatGPT背后的产品和研发团队如何协作 大模型应用如何从原型走向成熟 OpenAI如何优化大模型性能
……

以上信息，依然来自今年的新晋“科技春晚”——OpenAI开发者日。

除了奥特曼惊艳全球的开幕演讲，当天还有更多分组讨论，视频也陆续被官方上传到了油管。

而这也算得上是OpenAI惊天抓马之前，其团队“内幕”的一次展示。

值得借鉴学习之处，我们已经整理好笔记，一起来看~

产品与研究团队合作“前所未有”

把时间拉回到2022年10月，OpenAI的研究团队和产品团队开始围绕一个idea进行讨论：为他们的基础大模型，制作一个对话界面。

彼时还处在ChatGPT的早期阶段，但研究团队和产品团队的紧密协作已然开始，它们之间相互的影响程度更是独树一帜。

或许这种团队合作模式，可以成为其他公司参考借鉴的样本。

用OpenAI模型行为产品负责人Joanne Jang的话说：

在OpenAI，研究团队和产品团队之间的相互影响， 在业内已经达到了前所未有的程度。

ChatGPT本身，就是最明显的例子。

OpenAI Post-Training团队负责人Barret Zoph和Joanne共同分享了两支团队在ChatGPT开发和完善过程中的一些协作细节。

Barret团队的主要职责，是在模型能力被加入到ChatGPT和API之前，对其进行调整。具体来说，ChatGPT后期增加的联网、分析文件等功能，都是由Post-Training团队负责的。

Barret重点提到的是，正是产品团队的种种设计，让研究团队能够及时get到什么样的模型响应，对于现实世界中的用户和开发人员是真正有用的。

比如ChatGPT的点赞点踩按钮，就给研究本身带来了很多价值：

我们可以根据这样的反馈调整正在做的事情，了解哪些工作做得好，哪些做得不好，这样一来，我们就能让模型响应越来越适合用户。
在研究中，我们通常用离线评估指标和基准去衡量模型的进展，但有时候这并非人们真正使用模型的方式。产品团队的帮助，使得我们能够确保自己正走在构建通用、强大系统的方向上。

而站在产品团队的角度，Joanne同样认为，OpenAI产品经理扮演的角色有独特之处：

首先，在OpenAI做产品的目标不是收入、参与度、增长等传统产品指标，而是打造造福全人类的通用人工智能。

其次，OpenAI的产品经理往往是从技术而非用户问题的角度出发，去设计产品功能的。

最后，OpenAI研究团队和产品团队相互影响的程度非常之高，在业内可以说达到了前所未有的程度。

还是以ChatGPT诞生的过程为例。从GPT-3，到InstructGPT，再到ChatGPT，研究团队发现，直接在多轮对话上训练模型，能让教导模型新的行为这件事变得更加有效。

而具体教导（设计）模型行为的工作，就是靠产品团队来参与完成的：比如说，当用户告诉ChatGPT“你现在是一只猫”，ChatGPT应该表现出怎样的默认行为？

产品团队对此进行了大量的实验，以找出适合大多数用户的默认模式。

（p.s. 不过Joanne也提到，对于用户而言，最好的模型是个性化的模型，这也是他们对未来大模型发展方向的预判之一。）

非线性策略优化大模型性能

讲完协同“内幕”，再来看技术细节。

在开发者日上，OpenAI的技术人员分享了GPT-4中使用的大模型优化技术。

划重点就是，采用非线性策略，具体包括两个维度和四个象限。

OpenAI提出了一个多层次的非线性优化框架，涉及到了提示工程、搜索增强生成（RAG）和微调这三种技术。