智能手机的“大模型之战”，苹果加速进场

原文来源：本文首发钛媒体App

作者 | 饶翔宇

编辑 | 钟毅

图片来源：由无界 AI生成

目前所有的主流智能手机厂商中，苹果几乎是唯一一家，还没有正式发布大模型应用的厂商。

过去的2023年，华为率先将大模型接入手机，使得手机可以执行文本生成、知识查找、资料总结、智能编排、模糊/复杂意图理解等复杂任务。之后，其他厂商迅速跟进，比如小米训练出更为轻量级的语言大模型，参数规模为13亿和60亿两种。小米内部认为，轻量级模型也有其存在的市场空间，这是端侧大模型的特殊要求，也是一家智能设备厂商入局大模型的必经之路。

在此之后，vivo则推出了蓝心大模型，同样主打轻量化，利于进行手机本地化的数据处理；荣耀则在近日推出了自研端侧70亿参数平台级AI大模型，并宣布与百度智能云达成战略合作；几乎是前后脚，OPPO也将首款70亿参数大模型装进新推出的Find X7上。三星则计划2024年初发布的Galaxy S24系列手机中搭载大模型，旗下笔记本电脑、平板电脑也有可能集成该模型。

唯独苹果，对于iPhone何时将搭载大模型能力，目前还没有确切的消息。一位业内人士向钛媒体App表示，“与折叠屏一样，苹果对于新技术的应用，倾向于做好充足的准备后，才会正式推出。”苹果公司CEO库克曾解释道，苹果有计划在更多产品中加入AI，但要“深思熟虑”。

不过，苹果已经陆续展开了动作，比如推出了名为Ferret的多模态大语言模型，向新闻及出版机构购买内容版权。iPhone的“AI时刻”，正在加速到来。

追求更快的端侧大语言模型

虽然苹果还未公开详细的大模型路线，但根据其发布的《闪存中的大型语言模型：在有限内存下高效的大型语言模型推理》论文，外界得以窥见苹果的技术进展。

目前，大多数大型语言模型（LLM）都在具有强大服务器硬件支持的云端运营。想要将这类模型装进手机，让数据分析和推理在终端设备上直接完成，就需要智能手机拥有足够大的内存。

但是，一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数，这超过了大多数网络端点的承受能力。即使通过量化压缩模型，这对于终端设备的内存要求依然过大，且压缩模型通常需要修改模型甚至完全重新训练，也会对于模型的实际应用带来影响。

根据上述论文内容，苹果的研发人员似乎找到了突破方法——将模型参数存储在闪存（手机固态硬盘）中，在需要的时候再将数据调入DRAM（手机内存），以此解决LLM运行时，数据处理量超过DRAM可用容量的的难题，不至于压垮系统内存。

具体来说，苹果主要运用了两种技术：“窗口化”技术：重复使用此前激活过的神经元，以此减少数据传输；“行列捆绑”技术：针对闪存的数据特征，定制访问数据块的顺序，从而增加从闪存读取的数据块大小。

研究人员表示，该方法“为在内存有限的设备上有效推理 LLM 铺平了道路”。与 CPU 中的传统加载方法相比，该框架支持DRAM两倍大小的模型，在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。

更保守的训练策略

与利用爬虫技术获取大模型训练数据的方式不同，苹果的策略偏向保守。这家公司希望与新闻出版机构谈判，寻求利用其内容开发生成式 AI 系统。

据报道，苹果公司近期已经开始与主要新闻和出版机构进行谈判，提出了价值至少 5000 万美元的多年期协议，以获得新闻文章档案的授权。这些机构包括 Condé Nast（出版《Vogue》和《纽约客》）、NBC 新闻和 IAC。

不过，《纽约时报》称，出版商可能要承担苹果公司使用其内容产生的任何法律责任，而且苹果公司对其新闻和生成式人工智能计划“含糊其辞”。《纽约时报》还称，苹果公司高管一直在争论如何获取生成式人工智能产品所需的数据。由于注重隐私，苹果公司一直不想从互联网上获取信息，因此与新闻出版商的交易，为其提供了一个另一种选择方案。

苹果保守的路线对于生成式AI的发展有利有弊，这一做法的好处是，通过在更有针对性的信息集训练人工智能模型，苹果最终可能会推出更可靠的产品；而弊端在于，苹果大模型的推出时间会被延迟。