把大模型装进手机，总共分几步？

原文来源：脑极体

图片来源：由无界 AI生成

年初ChatGPT爆火的时候，我去上海参加华为春季新品发布会，用一页keynote提到了大模型技术与手机硬件的结合。虽然只有短短的一两分钟，但我专门发了一条朋友圈，看好自然语言交互能力在手机上的应用。

当时我就有预感，大语言模型跟手机结合，应该会很快。

时间拉回到现在，苹果、三星，以及“华米OV”国产手机厂商，都先后宣布了落地大模型。对手机来说，有没有大模型，已经不是一道选择题了，而是一道必答题。

提起这段故事，不是想说我们预判有多准，做科技观察不是玄学算命，一切都是有规律可循的。2023即将尾声，但大模型手机的热闹方兴未艾，是时候总结性地聊一聊，手机和大模型结合的深层逻辑，目前各家的差异化打法和挑战是什么，以及未来会如何发展。

2023，手机大模型的基建元年

首先有必要解释一下，为什么我们会预判，大模型与手机的结合，是一种必然？

了解手机市场近况的读者应该知道，在辉煌了十余年之后，移动智能终端已经陷入了某种瓶颈，增长低迷、缺少亮点，厂商创新如同挤牙膏，开发者巧妇难为无米之炊，可施展的创意空间有限。与此同时，一个用户身边至少环绕着三四个移动设备，每天要为繁琐交互，付出大量的隐形劳动，甚至有人不胜其烦，开始尝试“数字戒断”。

可以说，移动数字服务的供需双方，都在期待一种新的变革技术，可以让移动智能终端生态化繁为简、重塑体验。而在今天的技术世界中，大模型是最佳选项。

大语言模型的强大理解和生成能力，各种功能用同一个模型基座和自然语言交互来获取，可以改变手机的多个基本能力，说是重新定义手机，也不为过。

让大模型跑在手机上，成了手机厂商的必争之地，开发者所需要的机会窗口，也是重新点燃用户热情的一种必然选项。

大家今年都听说了“百模大战”，但跟主要在云端训练、web调用的通用大语言模型不同，高度集成化的手机，端侧算力、OS操作系统、应用并发、UI交互等一系列软硬件，都有自身的特性，也给大模型落地带来了不少限制。

结合华米OV等头部厂商的行动方略来看，我们预判，2023将是手机大模型的基建元年。

大模型落地手机，基建工程刚刚开始，后面会有更多好戏可看。具体来说，厂商必须搞定：

1.三座基建。

2.一个入口。

3.一群人。

我们就从这三个层面，来看看目前，各家的情况都怎么样？有哪些共同挑战和差异化思路？ 

第一步：端侧部署，三个基建

大语言模型的参数量动辄百亿、千亿，其训练和推理过程，需要耗费大量计算资源，对于手机这样的移动智能终端来说，SoC芯片的算力是远远达不到数据中心万卡集群的规模的，怎么支撑大模型的端侧运算呢？

就算勉强带起来了，大模型占据过多的手机工作内存，抢占其他应用的资源，会不会出现卡顿或快速掉电？

本地计算不足，引入云计算又会产生很多问题，比如大模型在云上分析处理个人数据，会不会暴露我的隐私啊？

要在端侧部署，手机和大模型都要进行一番改造。

首先，模型层。

目前主要有两条路线。

一是把大模型做小，也就是在端侧引入轻量级大模型，通过量化、剪枝、蒸馏等压缩技术，调整模型结构和参数大小，以适配端侧芯片的内存和算力特点，没网也能用，以荣耀、小米为代表。

荣耀Magic6搭载的，是自研的7B端侧AI大模型（即70亿参数规模），雷军在2023年度演讲宣布“小米全面拥抱大模型”，主攻的是轻量化和本地部署，目前训练出1.3B和6B参数规模的大模型。

二是把大模型做多，提供不同参数量级的大模型，来支撑不同场景、不同任务，云端协同，以vivo、OPPO为代表。

11月vivo发布的自研AI大模型矩阵，其中包括十亿、百亿、千亿三个不同参数量级的5款大模型。其中，10亿量级模型是主要面向端侧场景打造的专业文本大模型，70亿模型是面向手机打造的端云两用模型，700亿模型是面向云端服务的主力模型。