叫板ChatGPT！AI作画鼻祖Stability AI也推出大型语言模型

作者：葛佳明

或许每一次历史潮流的开场，总是这么熙熙攘攘，年初被ChatGPT引爆的AI大型语言模型(LLM），又迎来一位重磅入局者——Stability AI。

4月19日，推出火爆AI绘画赛道Stable Diffusion的开源模型的公司Stability AI，宣布“加入战局，叫板ChatGPT”，推出开源大语言模型StableLM。

在Stability AI公告大语言模型的网页上，一只体现了Stable Diffusion XL作画特点的绿鹦鹉先于语言大模型的介绍出现了，大语言模型的"Stable Diffusion”时刻或许就这样不期而至。

对于大语言模型StableLM，网站介绍道：

目前StableLM的Alpha版本中拥有30亿和70亿参数。已经可以从GitHub等开源平台上下载：https://github.com/stability-AI/stableLM/

Stability AI后续还将推出150亿至650亿参数的版本。

与Stable Diffusion类似，开发者可以在遵守协议的情况下，将这个模型用于商业或研究活动。

抨击OpenAI不够“open”的Stability AI，能稳定发挥，推出超越ChatGPT的大语言模型吗？

大语言模型的“安卓时刻”

Stability AI成立于 2019 年，是生成式AI领域最知名的公司之一。

在ChatGPT“占领”的大语言模型市场上，不少人期待着类似Stable Diffusion的开源模型能尽快出现。

大语言模型的"Stable Diffusion”时刻可能在十几个小时前到来了。

AI军备竞赛的开启可以追溯到去年7月，在Open AI的绘画模型DALL- E2之后，Stability AI发布的模型图像生成模型 Stable Diffusion，因其源代码开源，且对公众开放使用，在当时吸引了更多的注意力（使用 DALL-E2 需要申请，通过率很低）。

Stability AI把StableLM的发布比作了Stable Diffusion，这让AI可以继续服务所有人：

2022年，Stability AI推动了Stable Diffusion的公开发布，这是一款革命性的图像模型，代表了透明、开放、可扩展的AI。
这次我们发布开源StableLM模型，想继续让所有人都能使用AI。
我们的StableLM模型可以生成文本和代码，并将支持一系列下游应用。

正如Stability AI的CEO Emad Mostaque所说，他们最新发布的LLM代表着Stability AI的初心“开源”:

现在每个人都可以在Hugging Face上测试驱动这个7B版本的聊天机器人。

Emad Mostaque认为，LLM不应在大公司内部进行训练，社区系统的开放性也至关重要，需要更多监督，巨头控制流量算法的游戏规则——是对人们的操纵。

Emad Mostaque 来源：Stability AI

因此，Stability AI在今年年初与Hugging Face等几个初创公司一起资助了研究中心Eleuther AI，而StableLM便建立在Eleuther AI的开源模型上：

StableLM建立在我们与非营利性研究中心EleutherAI一起开源的早期语言模型基础上，这些语言模型包括GPT-J、GPT-NeoX和Pythia等等。
此次大模型也是在The Pile开源的数据集上进行的训练，该数据集结合了PubMed、StackExchange和维基百科等网站的的文本样本，其规模是The Pile的三倍，包含1.5万亿个内容标记。

Stability AI表示，正式因为这个丰富的数据集，尽管参数规模和GPT-3没有可比性，但StableLM在交流和编程方面都展现了“惊人的高性能”（surprisingly high performance ）：

尽管StableLM参数规模只有30亿至70亿（相比之下，GPT-3有1750亿参数），但性能非常好，下面是例子：
在这个例子里，StableLM回到了有关“对于从高中毕业的朋友你回说些什么？”以及“写一封邮件”的请求。

在这个例子里要求该模型写一个“计算生命意义的C语言程序”，但该模型表示无法完成此项任务，但写了一个计算生命长度的程序。

Mostaque在Twitter上表示，他相信StableLM及其训练数据会随着时间而变得更好，没有人知道这个模型可以被优化到什么程度：

我知道现在还有很长的路要走，这只是一个开始。我认为我们可以在接下来的3-6个月内让该模型变得和Stable Diffusion一样有用，而在接下来的几年里，发展将是惊人的。

OpenAI不够Open，Stability AI够稳吗

前不久，马斯克批评Open AI背离了开源、非盈利的初衷，这是Open AI一直以来面临的争议，也是Stability AI“暗戳戳”的讽刺OpenAI的要点。

尽管OpenAI不够开放，但GPT-4无疑是当下最好用的大语言模型。而够开放的Stability AI，其语言模型StableLM够稳吗。

要知道，目前StableLM的Alpha版本拥有30亿和70亿参数，而GPT-3.5模型的参数量为2000亿。

有网友称，Stability AI并没有在公告上说明StableLM当前的局限性。

该模型是否存在与其他模型一样倾向于编造事实？是否会经常答非所问？

媒体分析认为，该模型基于The Pile训练，而The Pile数据集内存在大量不雅用语，因此对话过程可能会让用户不适。