三个臭皮匠顶个诸葛亮？可能是真的，已证实混合多个小模型性能比肩GPT3.5

原文来源：机器之心

图片来源：由无界 AI生成

对模型参数量的迷信、执念也许可以放下了，混合多个小模型也是未来构造对话型 AI 的一个光明的方向。

在对话型人工智能（AI）研究中，存在趋势即朝着开发参数更多的模型方向发展，如 ChatGPT 等为代表的模型。尽管这些庞大的模型能够生成越来越好的对话响应，但它们同时也需要大量的计算资源和内存。本文研究探讨的问题是：一组小模型是否能够协同达到与单一大模型相当或更好的性能？ 

本文介绍了一种创新而简单的方法：混合。

作者展示了如果从一组小规模的对话型人工智能中随机选择回复，生成的对话型人工智能具有很强的性能和吸引力，可以胜过参数数量级大很多的系统。作者观察到混合模型似乎具有 “最优” 的特征，通过在对话历史上进行条件化响应，一个具有特定属性的单一模型能够学习其他系统的能力。可以为用户提供更引人入胜和多样化的回复和使用体验。

作者通过在 CHAI 平台上进行大规模 A/B 测试，证明了混合模型的有效性。在真实用户的测试中，包含三个 6-13B 参数 LLM 的混合模型，胜过了 OpenAI 的 175B + 参数 ChatGPT。并且混合模型的用户留存率显著高于基于 ChatGPT 的对话型人工智能，说明用户认为混合对话型人工智能更具吸引力、娱乐性和实用性，尽管混合模型仅需要消耗少量的推理成本和内存开销。

论文：Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM

论文链接：https://arxiv.org/pdf/2401.02994.pdf

模型链接：https://huggingface.co/ChaiML

混合模型

对话型 AI

对话型人工智能的目标是设计一个能够生成引人入胜、富有娱乐性的对话系统，供人们进行交互。设 uk 表示用户的第 k 轮对话，其中每个用户轮次是一个单词序列，uk = (w (k) 1 . . . , w (k) |uk| )。同样地，设 rk 表示系统生成的第 k 个响应，也是一个单词序列，rk = (w (k) 1 , . . . , w (k) |rk| )。作为一种隐式语言模型，一个特定的对话型人工智能，参数化为 θ，在给定先前对话历史的情况下，建模预测下一个响应出现的概率。

在训练过程中，系统隐式学习将更高的概率分配给流畅、引人入胜和高质量的响应。因此，可以通过从其分布中随机采样输出，无论是通过随机方法，还是通过像波束搜索这样的近似搜索过程。

受 InstructGPT 的启发，最先进的对话型人工智能通常遵循三阶段的流程。首先，对预训练语言模型 (PrLM) 进行微调，该模型在相关的文本领域进行训练，例如，在设计引人入胜的聊天机器人时使用有趣的文学作品。其次，使用明确的人类反馈来训练奖励模型。最后，使用奖励模型改进原始的 PrLM，可以采用近端策略优化或者采用简单的拒绝抽样策略。

在开发特定的对话型人工智能时，存在许多设计选择，如基础 PrLM、用于微调的对话数据以及用于更新系统的人类反馈。人们可能期望不同的方法和训练数据能产生高度多样的系统，每个系统都展示出独特的优势和特征。然后，可以考虑如何将一组对话型人工智能组合起来，形成具有总体更好特性的系统。

集成

根据贝叶斯统计原理，分配给特定响应的概率可以被概念化为对所有合理的对话型人工智能参数取边际期望，

在实践中，当只能访问有限的一组对话型人工智能系统 {θ1, θ2...θN} 时，可以将连续积分近似为离散求和。此外可以假设 PΘ(θ) 在这些系统上均匀分布，即 PΘ(θn) = 1/N，如果该集合包含性能相似的模型，这是一个有效的假设，可以得到下面的近似式：

混合