大模型上手机，拉开 AI 改变世界的大幕

原文来源：极客公园

作者：靖宇

图片来源：由无界 AI生成

打开摄像头界面，演示人员拍摄了一张眼前风景的图片。在相册中，找到这张图片，选择「扩充」功能，结果本来照片没有拍到的外围部分，被神奇地「扩充」到了外围。

另一边，一台手机仿佛是用来给参观者自拍的，进入到它的前置摄像头区域，你会发现，画面中人物影像的背景被实时替换了，即便自拍者不断动作，虚拟背景也没有穿帮，几乎感受不到延迟。

实时修改自拍背景演示｜极客公园

而如果稍微仔细一些，你会发现这些用来演示的手机全部开启了飞行模式——也就是说，上述这些复杂功能，全部跑在手机本地芯片上。

这是 2023 高通骁龙峰会的 Demo 体验馆，而上述手机演示的 AI 功能，全部仰仗于机器内部、刚刚在会上曝光的骁龙 8 Gen 3（第三代骁龙 8）处理器芯片的算力。

在 AI 大模型火爆的当下，高通在今年的发布会上发布的两款新品，骁龙 X Elite 和骁龙 8 Gen 3 芯片，分别在 PC 和智能手机代表的移动设备上，实现了百亿参数大模型的本地运行，让生成式 AI 的神奇能力，成为移动设备的「内置功能」。

在「云端 AI」之外，借助芯片的高速发展，「终端 AI」已经实现，而二者协同的「混合 AI」的时代，可能已经到来。

01 AI，从数据中心到手机和 PC

「我们刚刚见证了下一个转型的开始，而它的深远意义。」

高通公司总裁兼 CEO，克里斯蒂亚诺·安蒙 Cristiano Amon 在描述了手机从功能机到智能机，再到未来时，对终端和云端结合的「混合式 AI」，做出了这样的预言。

安蒙在高通骁龙峰会上阐述「终端 AI」时代已经到来｜极客公园

在云端的 AI，例如现在诸多的生成式 AI 对话应用可能已经不陌生，但是终端 AI 的实现，对于硬件的要求很高，这也是为什么当天高通发布会上的两款全新芯片——骁龙 X Elite 和骁龙 8 Gen 3 格外引人注意。

也许当天最刺激的，是骁龙 X Elite 所搭载的 Oryon CPU 在单线程上的性能不仅秒杀苹果公司自傲的 M2 MAX 芯片，和英特尔的 i9-13980HX，而且在同等性能上的能耗比后者降低了 70%。

更重要的是，强劲的 Oryon CPU、Hexagon NPU，以及 Adreno GPU，在 X Elite 异构的 AI 引擎加持下，三块处理器单元能够实现整体 75 TOPs 的算力。

超强的算力，让之前只能在云端获得的生成式 AI 对话体验，可以成功在搭载了骁龙 X Elite 芯片的电脑本地环境中——最高可以在 PC 端运行高达 130 亿参数的大语言模型，Token 生成速度达到每秒 30 个，快到超过用户的阅读速度；同时，使用 Stable Diffusion 生成图片速度达到惊人的少于 1 秒。

新推出的 Oryon CPU  速度和能耗吊打友商｜极客公园

在现场，当你用手指点击生成按钮，图片可以在瞬间完成时，体验令人惊奇，因为人们早已习惯了等待生成式对话产生图片，从模糊到清晰那漫长的时间。

作为智能手机芯片旗舰产品，骁龙 8 Gen 3 的实力与 X Elite 相比也不遑多让，在 AI 方面，不仅本地能跑起百亿参数大模型，同时生成图片速度同样达到了短短 0.6 秒。

仅仅在今年第一季度，高通的演示仅能在本地跑的动 10 亿参数大模型，生成图片速度控制在 15 秒。高通使用了什么「魔法」，能让「终端 AI」取得大跨越发展？

以骁龙 8 Gen 3 为例，首先高通将 Llama 2 这样的大模型量化，使用 AI 软件栈进行压缩，将量化模型加载到超高速 DDR 内存之中，后者可以用超快吞吐量将模型输入到 Hexagon NPU 进行工作。

高通的 AI 引擎专门针对 AI 进行了优化｜极客公园

高通对微架构进行了重大改进。除升级微切片推理硬件外，团队还为张量加速器增加了独立的电源传输轨道，以实现最佳性能和能效。同时，高通还提高了标量和矢量加速器的时钟速度，并将大型共享内存的带宽增加了一倍。Hexagon NPU 的这些改进，使其成为大模型推理的领先加速器。

在语音式生成对话中，高通还使用了一种「推测性解码」技术，后者也是首次在终端上使用。该技术使用几乎只有原模型一半大小的「草稿模型」算法，首先在 CPU 上进行大量推理后，快速生成 3 个推测性 Token。