为AI加速而生：英特尔的至强，现在能跑200亿参数大模型了

来源：机器之心

图片来源：由无界 AI生成

实用化 AI 算力又升上了一个新台阶。

在人工智能的应用领域，出现了一些让人始料未及的趋势：很多传统企业开始选择在 CPU 平台上落地和优化 AI 应用。

例如制造领域在高度精细且较为耗时的瑕疵检测环节，就导入了 CPU 及其他产品组合，来构建横跨「云-边-端」的 AI 缺陷检测方案，代替传统的人工瑕疵检测方式。

再比如亚信科技就在自家 OCR-AIRPA 方案中采用了 CPU 作为硬件平台，实现了从 FP32 到 INT8/BF16 的量化，从而在可接受的精度损失下，增加吞吐量并加速推理。将人工成本降至原来的 1/5 到 1/9，效率还提升了约 5-10 倍。

在处理 AI 制药领域最重要的算法——AlphaFold2 这类大型模型上，CPU 同样也「加入群聊」。从去年开始，CPU 便使 AlphaFold2 端到端的通量提升到了原来的 23.11 倍；而现如今，CPU 让这个数值再次提升 3.02 倍。

上述这些 CPU，都有个共同的名字——至强，即英特尔® 至强® 可扩展处理器。

为什么这些 AI 任务的推理能用 CPU，而不是只考虑由 GPU 或 AI 加速器来处理？

这里历来存在很多争论。

很多人认为，真正落地的 AI 应用往往与企业的核心业务紧密关联，在要求推理性能的同时，也需要关联到它的核心数据，因此对数据安全和隐私的要求也很高，因此也更偏向本地化部署。

而结合这个需求，再考虑到真正用 AI 的传统行业更熟悉、更了解也更容易获取和使用 CPU，那么使用服务器 CPU 混合精度实现的推理吞吐量，就是他们能够更快和以更低成本解决自身需求的方法了。

面对越来越多传统 AI 应用和大模型在 CPU 上的落地优化，「用CPU加速AI」这条道路被不断验证。

这就是在数据中心中，有 70% 的推理运行在英特尔® 至强® 可扩展处理器上的原因1 。

最近，英特尔的服务器 CPU 完成了又一次进化。12 月 15 日，第五代英特尔® 至强® 可扩展处理器正式发布。英特尔表示，一款为 AI 加速而生，而且表现更强的处理器诞生了。

人工智能正在推动人类与技术交互方式的根本性转变，这场转变的中心就是算力。

英特尔 CEO 帕特·基辛格（Pat Gelsinger）在 2023 英特尔 ON 技术创新大会表示：「在这个人工智能技术与产业数字化转型飞速发展的时代，英特尔保持高度的责任心，助力开发者，让 AI 技术无处不在，让 AI 更易触达、更可见、透明并且值得信任。」

第五代至强，为 AI 加速

第五代英特尔® 至强® 可扩展处理器的核心数量增加至 64 个，配备了高达 320MB 的 L3 缓存和 128MB 的 L2 缓存。不论单核性能还是核心数量，它相比以往的至强都有了明显提升。

在最终性能指标上，与上代产品相比，在相同功耗下平均性能提升 21%，内存带宽提升高达 16%，三级缓存容量提升到了原来的近 3 倍。

更为重要的是，第五代至强® 可扩展处理器的每个内核均具备AI加速功能，完全有能力处理要求严苛的 AI 工作负载。与上代相比，其训练性能提升多达 29%，推理能力提升高达 42%。

在重要的 AI 负载处理能力上，第五代英特尔® 至强® 可扩展处理器也交出了令人满意的答卷。

首先要让 CPU 学会高效处理 AI 负载的方法：在第四代至强® 可扩展处理器上，英特尔面向深度学习任务带来了矩阵化的算力支持。

英特尔® AMX 就是至强 CPU 上的专用矩阵计算单元，可被视为 CPU 上的 Tensor Core，从第四代至强® 可扩展处理器开始成为内置于 CPU 的 AI 加速引擎。

第五代至强® 可扩展处理器利用英特尔® AMX 与英特尔® AVX-512 指令集，配合更快的内核，以及速度更快的内存，可以让生成式 AI 更快地在其上运行，无需独立的 AI 加速器就能执行更多工作负载。

借助在自然语言处理 (NLP) 推理方面实现的性能飞跃，这款全新的至强® 可支持响应更迅速的智能助手、聊天机器人、预测性文本、语言翻译等工作负载，可以在运行参数量 200 亿的大语言模型时，做到时延不超过 100 毫秒。