没绷住，vivo提前“泄密”大模型能力

原文来源：量子位

图片来源：由无界 AI生成

最卖座的安卓手机，竟然要实装大模型了？！

还是发布即可用那种——新版手机系统直接搭载，不整虚的。

要知道，虽然国产大模型百花齐放，但手机端“百模大战”，可以说是才刚进入热身阶段。

自研大模型的手机厂商已有不少，但真正装进手机系统中的，还几乎没有。

搞出这个大新闻的，正是已连续两年国内份额第一的蓝厂vivo。

前段时间，vivo悄悄自研手机AI大模型的消息传得沸沸扬扬，如今靴子落地，官宣定档11月1日vivo开发者大会，上机新版系统OriginOS 4。

从vivo负责人剧透的消息中，可以窥见三个要点：

vivo副总裁、全球AI研究院院长周围，还提前两周在微博上“泄露”了一番大模型的能力：

一套连贯操作下来，网友先激动了。

还有网友已经在幻想工作量骤减的场景了。

所以，这番vivo官宣大模型，究竟放出了哪些信号？具体到手机端上，又会带来哪些功能的改变？

vivo大模型，哪些信号已剧透？

先来看看vivo大模型的曝光信息。

vivo新版自研大模型，取名vivoLM。

这次要发布的vivoLM一共有5个版本，参数量分成十亿（1B/7B）、百亿（66B）和千亿（130B/175B）三个级别。

无论是70亿大模型版本，还是参数量更大的版本，vivoLM都已经提前在两大中文大模型评测榜单C-Eval和CMMLU上“刷榜”了一波。

在C-Eval榜单上，vivoLM取得了平均82.3分的榜一成绩，尤其在STEM、人文学科上表现突出；

而在CMMLU榜单上，无论是Five-shot（仅给5个样本示例）还是Zero-shot（0样本示例），vivoLM-7B版本都占据了TOP 1，并同样在人文学科上“一骑绝尘”。

值得一提的是，登顶CMMLU榜单的vivoLM-7B即70亿版本大模型，正是vivoLM将对外开放的版本。

当然，无论是哪个版本，vivoLM此次发布的目的都非常明确——

放进vivo最新版本的手机系统OriginOS 4中，作为手机助理感知用户需求、识别意图并辅助决策。

但众所周知，相比其他应用领域，手机端实际上是大模型最难落地的场景之一。

一方面，受体积、耗电量所限，手机端侧算力相比云端算力“少得可怜”。

以“大”著称的大模型，如果直接部署在端侧，往往难以取得较好的使用效果，即使能运行起来，推理速度也不及预期，按周围的话来说就是：

如果做输入法的出词推荐，2秒才能出一个词。

但缩小模型体积，效果肯定会打折扣。

另一方面，如果将大模型直接上传到云端联网使用，又会失去端侧部署的优势。

例如，大模型原本可以根据用户信息，在手机上个性化定制手机助理，且确保信息不上传到云端；但如果大模型在云端加载，势必要将个人信息通过网络上传，隐私安全无法保障。

除此之外，云端运行大模型的成本非常高。周围介绍称：

vivo有3亿中国大陆用户，如果每天用10次，一天的运算成本大概是3000万元，一年需要花费约90-100亿元。

vivo究竟是怎么将大模型部署到手机端的？

从vivoLM已剧透的大模型参数设置、以及目前已有的一些大模型运行研究来看，或许能推测出其中用到的一些“技巧”。

技巧之一，在于大模型的参数设计，不同的参数量级，分别用于处理不同的任务。

其中，最小的大模型，包括10亿和70亿参数的模型，可以直接部署在端侧，确保耗电量不高。

涉及用户信息等个性化任务需求时，可以用这类大模型来完成，例如一键将备忘录内容加入日历、并设置闹钟提醒。

更大的大模型，如660亿、1300亿和1750亿参数的大模型，则根据任务难度来决定调用情况。

毕竟从目前学界公认的说法来看，大模型“智力涌现”所需的参数量级，几百亿足矣。

像用超大模型如GPT-4来总结电子邮件的行为，就一直被调侃为“开兰博基尼送披萨”。（手动狗头）