Hugging Face剧透：阿里通义千问下一代Qwen2来了？

原文来源：硅星人

图片来源：由无界 AI生成

作为全球最顶级的机器学习工具库，Hugging Face上最近悄悄出现了一个新的transformers模型——Qwen2。没错，正是阿里通义千问Qwen模型的第二代。不过通义团队的算法同学在社交媒体上对此继续保持神秘。

“让它保持神秘”

也就是说，HuggingFace上的信息相当于一次“剧透”。而有剧透可能就说明距离正式“上映”不远了。

这款最全尺寸的中国开源模型的一举一动都备受开源社区开发者们关注，那么这次剧透都透露了哪些信息？我们也来梳理了一下。

根据Qwen2页面的Overview部分，这个新一代的基础模型同样包括不同参数大小的版本。这个简短的介绍提到Qwen2是基于Transformer架构，采用SwiGLU激活、注意力QKV偏置、组查询注意力、滑动窗口注意力和全序列注意力相混合等技术，根据介绍，Qwen2还提供了一个适应多种自然语言和代码的改进型分词器。

我们给大家简单讲一讲这些技术，首先是SwiGLU激活。它是激活函数的一种，全称叫做Swish-Gated Linear Unit。看这名就能明白，SwiGLU激活函数就是缝合了Swish激活函数和门控线性单元（Gated Linear Unit, GLU）的特性。Swish激活函数是一种非线性函数，它在输入趋近于正无穷时接近于线性变换，这有助于缓解梯度消失问题。GLU是一种门控激活函数，常用于序列建模任务。GLU将输入分为两部分，其中一部分经过Sigmoid门，另一部分经过tanh门。将两者逐元素相乘，以产生最终的输出。这种门控机制允许网络选择性地传递信息，提高建模能力。

在transformers模型中，注意力（Attention）机制是一种计算方式，它允许模型在处理输入序列时考虑不同位置之间的依赖关系，并动态地分配对输入的不同部分的关注程度。Transformer的核心是自注意力（Self-attention）机制，尤其在自然语言处理任务中发挥着关键作用。

而自注意力可以被表示为每个输入位置的词嵌入会被映射到三个不同的向量空间：Query（查询）、Key（键）和Value（值）。Query向量用于查询相关信息，Key向量负责与Query匹配以确定相关性，而Value向量包含每个位置实际需要被关注的信息内容。Qwen2提到的注意力QKV偏置，刚好是Query、Key和Value的首字母。那也就是说，在自注意力机制中，通过引入偏置项，模型可以更灵活地捕捉输入序列中潜在的模式或特征，并能够针对特定任务或数据集微调其注意力行为。

它使用的是注意力机制的一个变体。在传统的自注意力机制中，所有的查询通过计算与所有的Key的相似度来得到注意力权重。而在组查询注意力中，引入了查询（Query）分组的概念，查询被分为多个组，每个组内的查询只与对应组内的键计算相似度，从而获得注意力权重。

传统的自注意力机制需要计算Query和Key之间的所有相似度，因此其计算复杂度是输入序列长度的平方级别。而滑动窗口注意力通过引入滑动窗口的概念，限制每个查询只与其周围一定范围内的键计算相似度，从而降低了计算复杂度。

与之相反，全序列注意力允许模型中的每个位置对序列中的所有其他位置进行关注，并据此计算权重分配。这种机制能捕捉到序列间的任意距离依赖关系，但在长序列上计算成本较高。

结合两者形成的混合注意力机制可以在保持较低计算复杂度的同时，尽可能保留并利用全局上下文信息。例如，在某些层使用局部的滑动窗口注意力以节省资源，而在其他层或关键节点上使用全序列注意力来确保充分捕获全局依赖关系。

Qwen的能力对比

最后再让我们看一看这个“改进型分词器”。所谓分词器，它的英文名叫做tokenizer。这个名字叫暴露了它的本职工作，就是将原始的文本数据分割成一系列有意义的、可管理的小单元，这些小单元通常被叫做tokens。

根据Qwen（或者区别于Qwen2，可以称为Qwen1）的技术报告，它采用了在编码不同语言信息方面具有更高效率的分词器，在多种语言中展示更高的压缩率。而根据Qwen2提交的代码，可以看出这个“改进分词器”的一些细节。