号称“史上最强大开源模型”的Llama3，凭什么价值百亿美金？

作者：小岩

编辑：彩云

4月19日，Facebook母公司Meta重磅推出了Llama3。

即便大家现在对于大厂和巨头频繁迭代AI模型的行为已经见怪不怪，Meta的Llama3仍旧显得与众不同，因为这是迄今最强大的开源AI模型。

Meta推出了重磅级产品Llama，显然是剑有所指的，其中的寓意也很明显，即是要在激烈的行业竞争中追赶领先者OpenAI。由此，我们也能看出Mata在AI领域的雄心壮志。

成为最强开源模型，Llama3究竟是怎样炼成的？

之所以说Llama3是“最强开源”，是因为它在模型架构，预训练数据，扩大预训练规模以及指令微调方面都做出了重要的调教。

在模型架构方面，Llama 3 采用了相对标准的纯解码器 transformer 架构。与 Llama 2 相比，Llama 3更进行了几项关键改进。Llama 3 使用了一个 128K token 的 tokenizer，它能更有效地编码语言，从而大幅提高模型性能；Meta还在 8B 和 70B 大小的模型中都采用了分组查询关注，以便提高Llama3的运行效率；此外，Meta还在8192 个 token 的序列上对模型进行了训练，并使用掩码来确保自注意力不会跨越文档边界。

训练数据方面，Meta 表示，要训练出最佳的语言模型，最重要的是策划一个大型且高质量的训练数据集。根据数据现实，Llama 3 在超过 15T 的 token 上进行了预训练，训练数据集是 Llama 2 的7倍，包含的代码数量达到了Llama 2 的4倍。为了应对多语言使用情况，Llama 3 的预训练数据集中有超过5%的部分是高质量的非英语数据，涵盖 30 多种语言。而为了确保Llama 3始终在最高质量的数据上进行训练，Meta还开发了一系列数据过滤管道，诸如启发式过滤器，NSFW 过滤器，语义重复数据删除方法，文本分类器等，以便更好的预测数据质量。与此同时，Meta还进行了大量实验，确保 Llama 3 在各种使用情况下都能表现出色，包括琐事问题，STEM，编码，历史知识等。

在扩大预训练规模方面，为了让Llama 3 模型有效利用预训练数据，Meta 为下游基准评估制定了一系列详细的 scaling laws。这些 scaling laws 使他们能够选择最佳的数据组合，并就如何更好地使用训练计算做出最佳决定。更重要的是，在实际训练模型之前，scaling laws允许他们预测最大模型在关键任务上的性能，这有助于 Llama 3 在各种用例和功能中都能发挥强大的性能。

在指令微调方面，为了在聊天用例中充分释放预训练模型的潜力，Meta 对指令微调方法进行了创新，在后期训练方法中结合了监督微调（SFT），拒绝采样，近似策略优化（PPO）以及直接策略优化（DPO）。

官方表示即将推出400B+版本...开源的400B+足够令人期待。

此次Llama3的发布，还有一点惹人瞩目，那就是Meta官方表示，即将在不久的未来推出400B+版本。

Meta 官方表示，Llama 3 8B 和 70B 模型只是 Llama 3 系列模型的一部分，他们后续还将推出更多版本，其中就包括模型参数超过 400B 的 Llama 3 版本，这一版本目前仍在训练中。

在接下来的几个月中，Meta会持续推出新功能：届时会有更多的模态；更长的上下文窗口；更多不同大小版本的模型；更强的性能等。关于Llama 3研究论文也一应推出。

另外，Llama 3 模型将很快会在AWS，Databricks，Google Cloud，Hugging Face，Kaggle，IBM WatsonX，Microsoft Azure，NVIDIA NIM 以及Snowflake 上提供，并得到 AMD，AWS，Dell，Intel，NVIDIA 以及Qualcomm 硬件平台的支持。

当然，大家最期待的，还是即将推出的，参数超过400B+的版本。目前Llama3模型的最强参数是70B。这个数据已经十分优秀了，完全有能力和GPT-4-Turbo，Mistral-Large，Claude3-Opus相媲美。不过，相较于巨头的最强模型，仍旧存在不小的差距。这也是大家如此期待400B+版本的重要原因。

400B+的版本仍在训练中，单就目前释放出的评测结果来看已经非常强了，堪称Llama开源size中的“超大杯选手”。据悉，该模型的训练成本会达到1亿美元。 目前我们还不清楚Meta是否会开源“超大杯”。一旦开源，对于国内的大模型公司来说无疑是个重大利好。相信在此之后，也会有很多公司争先跟上，推出后续的应用。但凡事都有两面，对于OpenAI，Anthropic，Mistral，Google这些巨头而言，这未必是个好消息。

“开源大模型”时代以来，AI会越来越失控吗？