苹果这篇“魔改”闪存的论文，暴露了它想彻底掌控大模型的野心

文章来源： GenAI新世界

作者：苗正

编辑：王兆洋

图片来源：由无界 AI生成

2017年，来自谷歌的几个研究员写下《Attention is All you need》的题目，给世界带来了Transformer模型架构，它成为了今天“大模型”繁荣背后无可争议的根基，OpenAI的GPT，Meta的Llama以及一众最主流大语言模型都是在Transformer的基础上生长起来，今天还有一批又一批聪明的研究者在不停尝试提出比Transformer更强的模型架构。
某种程度上，今天所有AI模型层面的研究都在围绕对Transformer的掌控与超越展开。但这样一个划时代的研究在当时并未立刻引起所有人的重视，而这种“嗅觉”的差异也很大程度决定了今天的AI格局——OpenAI在这篇论文出现第二天就立刻彻底转向了Transformer架构，然后2020年5月OpenAI基于Transformer架构的GPT-3论文发表，2年后ChatGPT出现，一切都不再相同。
「变压器」这个栏目名来自对Transformer的直译，我们会拆解和介绍关于AI及相关技术的最新论文和最前沿研究，希望像OpenAI当年看到Transformer一样，帮助更多人遇到自己的「变压器」时刻，比一部分人更早进入生成式AI的世代。大模型领域最新的一个热门趋势是把模型塞到手机里。而最应该做这个研究的公司终于带着它的论文现身，那就是苹果。

这家公司的研究团队最近发布了一篇论文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》，简单说，它尝试利用闪存来解决大模型在塞进手机时遇到的内存不足的问题。

这是一个对于端侧部署模型十分关键的问题。

计算机的记忆体（Memory）简单分为内存（Ram）和闪存（Flash）两种。内存用于临时存储那些需要随时访问的数据和指令，它提供高速的读写，有较高的存储密度。而闪存正相反，它读写较慢，适用于长期数据的存储。

因此从特性上看，内存更适合需要频繁读写的大模型。然而这带来一个问题，它成了一个限制死了的搭配，比如一个70亿参数的模型就必须需要超过14GB的内存才能以半精度浮点格式加载参数，但这超出了大多数边缘设备的能力。

如这篇论文的标题所示，苹果想要通过闪存来解决这个问题。

苹果版的曹冲称象

论文为了将大模型搬到闪存上，一共做了三步。

第一步：先让闪存能参与进模型运行中来。论文提到一个概念，大语言模型在前馈网络（FFN）层展现出高度的稀疏性（超过90%）。FFN是一种基本的神经网络架构，其中信息单向流动，从输入层流向输出层，中间可能经过多个隐藏层。在这种网络中，每一层的输出仅作为下一层的输入，而没有任何反馈或循环连接。于是论文把FFN当成是一个筛子，仅迭代传输闪存中必要的、非稀疏数据到DRAM进行处理。

使用修正线性单元（ReLU）前后输出幅度对比，ReLU用来实现稀疏性

接下来是第二步：论文提出了一种名为“滑动窗口技术”的神经元数据管理方法。把那些在预测模型中产生正输出的神经元定义为活跃神经元，在内存中保留最近一部分输入标记的神经元数据，仅加载当前输入标记与其直接前驱不同的神经元数据。这样做能有效利用内存，释放掉之前分配给已不在滑动窗口内的旧标记神经元数据的内存。

滑动窗口技术

第三步：论文还提出了一种增加数据块大小的策略。论文用OPT和Falcon模型做实验，把向上投影的第i列和向下投影的第i行捆绑存储。当激活第i个中间神经元时，这两部分数据会同时被使用。通过在闪存中将这些对应的列和行一起存储，可以将数据整合成更大的块进行读取。

内存管理策略，首先将最后的元素复制到要删除的神经元中，以保持连续的内存块，然后将需要的元素堆叠到最后

这些术语看起来依然晦涩？没关系我们可以做个类比，事实上它的思路与曹冲称象非常像。

首先论文要解决的问题就是，大模型是大象，没办法直接上秤测量（设备内存有限，放不了大模型）。

于是用了三个步骤来在特定环节减少对大模型的访问延迟。