OpenAI 困于“遥遥领先”

来源：远川科技评论

轰动全球的大型连续剧“奥特曼去哪儿”划上了句号，但OpenAI的烦心事并没有结束。

Sam Altman能在短时间内官复原职，离不开微软忙前忙后。今年以来，微软一直在帮助好兄弟做大做强。不仅追加投资了100亿美金，还大规模调用了微软研究院的人力，要求放下手头的基础科研项目，全力将GPT-4等基础大模型落地成产品，用OpenAI武装到牙齿。

但很多人不知道的是，今年9月，微软研究院负责人Peter Lee曾接到过一个秘密项目——打造OpenAI的替代品。

第一个“去OpenAI化”的，正是微软的首个大模型应用Bing Chat。

据The Information爆料，微软正尝试将原本集成在Bing当中的OpenAI大模型，逐步替换成自研版本。11月的Ignite开发者大会上，微软宣布Bing Chat更名为Copilot，如今市场定位与ChatGPT颇为相似——很难不让人多想。

全新的Copilot

不过，微软的初衷并不是OpenAI的技术能力有瑕疵，也不是预见到了OpenAI管理层的分歧，真实原因有点让人哭笑不得：

因为OpenAI的技术能力太强了。

开着兰博基尼送外卖

促使微软自研大模型的契机，是OpenAI的一次失败。

ChatGPT轰动全球之际，OpenAI的计算机科学家们正在忙于一个代号为Arrakis的项目，希望对标GPT-4打造一个稀疏模型（sparse model）。

这是一种特殊的超大模型：处理任务时，模型只有特定部分会被激活。例如当用户需要生成一段摘要时，模型会自动激活最适合该工作的部分，不必每次都调动整个大模型。

相较于传统的大模型，稀疏模型拥有更快的响应速度和更高的准确性。更重要的是它可以大大降低推理的成本。

翻译成人话就是，杀鸡再也不用牛刀了——而这正是微软所看重的。

谷歌对稀疏模型优势的总结

舆论聊到大模型成本时，总爱谈论7、8位数的训练成本，以及天文数字的GPU开支。但对大多数科技公司而言，模型训练和数据中心建设只是一次性的资本开支，一咬牙并非接受不了。相比之下，日常运行所需的昂贵推理成本，才是阻止科技公司进一步深入的第一道门槛。

因为在通常情况下，大模型并不像互联网那般具备明显的规模效应。

用户的每一个查询都需要进行新的推理计算。这意味着使用产品的用户越多、越重度，科技公司的算力成本也会指数级上升。

此前，微软基于GPT-4改造了大模型应用GitHub Copilot，用于辅助程序员写代码，收费10美元/月。

据《华尔街日报》的爆料，由于昂贵的推理成本，GitHub Copilot人均每月亏20美金，重度用户甚至可以给微软带来每个月80美金的损失。

GitHub Copilot

大模型应用的入不敷出，才是推动微软自研大模型的首要原因。

OpenAI的大模型在技术上依旧遥遥领先，长期位于各大榜单的首位，但代价是昂贵的使用成本。

有AI研究员做过一笔测算，理论上GPT-3.5的API价格，几乎是开源模型Llama 2-70B推理成本的3-4倍，更别提全面升级后的GPT-4了。

然而除了代码生成、解决复杂数学难题等少数场景，大部分工作其实完全可以交由参数较小的版本和开源模型。

初创公司Summarize.tech就是个活生生的案例。它的业务是提供总结音视频内容的工具，拥有约20万月活用户，早期曾使用GPT-3.5来支持其服务。

后来，该企业试着将底层大模型更换成开源的Mistral-7B-Instruct，发现用户并没有感知到差异，但每月的推理成本却从2000美元降低至不到1000美元。

也就是说，OpenAI为客户无差别提供动力强劲的兰博基尼，但大部分客户的业务其实是送外卖——这构成了OpenAI的“遥遥领先难题”。

所以不光是微软，连Salesforce、Wix等OpenAI的早期大客户，也已经替换成更便宜的技术方案。

降低推理成本，让“开奥迪比雅迪更便宜”，成为了OpenAI必须要解决的课题，这才有了前文提到的稀疏模型项目Arrakis。

事实上，不光是OpenAI，谷歌也在从事相关研究，并且已经取得了进展。8月的Hot Chips大会上，谷歌首席科学家、原谷歌大脑负责人杰夫·迪恩更在演讲中提到，稀疏化会是未来十年最重要的趋势之一。

杰夫·迪恩还发表过稀疏模型的论文

正是遥遥领先带来的高成本让微软琢磨起了“自力更生”的可能性，OpenAI其实也注意到了这个问题：

11月6日的开发者大会上，OpenAI推出了GPT-4 Turbo，一口气降价1/3，已低于Claude 2——即最大竞争对手Anthropic开发的闭源大模型。

OpenAI的“兰博基尼”虽然还不够便宜，至少比其他小轿车实惠了不少。