Spartan:2024年加密行业的九
异军突起的小模型,有多大想象空间?
原文来源:AI新智能
图片来源:由无界 AI生成
大模型之战进入到今日,许多开发者都面临着一个共同的挑战:如何在保证高性能的同时,降低资源和算力的需求?
这一困境在端侧应用尤为明显,因为许多设备和应用场景对计算能力和存储空间有严格的限制。这无疑大大制约了大模型在各种设备和场景中的普及。
如何突破这一桎梏,实现性能与资源的完美平衡,从而打开潜在的市场?
近期,一些小型模型,如Mistral AI推出的Mixtral8x7B和微软发布的Phi-2,提供了一个可能的解决方案。
这些小模型在参数规模上相对较小,但在性能上却表现出了惊人的实力,甚至在某些方面超越了Llama2等规模更大的竞争对手。
而这也意味着,套在很多场景上的“参数枷锁”,也将有望被打破。一个新的增量市场,已经呼之欲出。
1 以小博大
从技术上说,Mistral 和Phi-2的特点就是一个词:短小精悍。
Mistral 8x7B由来自欧洲的Mistral AI打造,采用了稀疏混合专家模型(SMoE)技术,结合了多个针对特定任务训练的较小模型,提高了运行效率。
在许多基准测试中,Mistral 8x7B的性能已经达到甚至超越了规模是其25倍的Llama2 70B。
而微软推出的Phi-2虽然规模更小(仅27亿参数),但得益于“教科书质量”数据的训练,以及学习其他模型传递的洞见的技术,目前已在某些基准测试中超过了更大的模型,如 70亿参数的Mistral和130亿参数的Llama2。
Mistral 7B在所有基准测试中超越了Llama2 13B
那么,这些异军突起的小模型,将会给已进入“平台期”的模型层,带来怎样新的想象?
具体来说,针对目前大模型的种种局限,小模型至少在两个方面实现了逆袭。
其中一个方面,就是其横向扩展了模型的使用范围,打开了之前因资源、算力而被束缚的市场。
以手机市场为例,根据Statista的数据,2021年全球智能手机用户数量已达到约39亿。
然而,小打开手机大模型的市场,却绝非易事。
由于手机设备上的内存和计算能力有限,为了平衡内存占用、执行速度和功耗,目前手机厂商普遍采用端云协同的解决方案,但这并非长远之计。
对于手机厂商来说,使用云端资源会产生额外的成本。随着用户规模的扩大,这些成本可能会不断增加,从而限制了其盈利规模的上限。
因此,最好的选择,就是能让手机在本地就能运行一款参数不大,但性能又能与云端大模型媲美的小模型。
同样地,在一些需要快速部署,实现实时响应的边缘场景,例如自动驾驶、物联网(IoT)中,实时决策和数据处理就显得至关重要。
根据ResearchAndMarkets的报告,全球自动驾驶汽车市场规模在2020年达到了约558亿美元。预计到2027年,这一数字将增长至约5,260亿美元。
目前的车载计算平台,如英伟达的DRIVE AGX Orin,计算能力是254 TOPS(每秒254万亿次操作),在高速公路等相对简单的场景中,由于数据量和计算复杂度较低,其算力并不是很吃紧。
然而,在更复杂的城市驾驶场景中,自动驾驶系统需要处理更多、更复杂的数据和任务,如实时检测和识别各种障碍物、预测其他道路用户的行为、规划安全路径等。
在这种情况下,有限的算力,就会限制自动驾驶的进一步普及。
Mistral和Phi-2这类小模型由于其较小的模型体积和较低的计算需求,可以在这些有限资源下高效运行。
因为车载系统需要在有限的能源和散热条件下运行,而较低的计算需求还有助于提高处理速度,实现实时决策和响应。
这一点对于推动自动驾驶和智能座舱技术的发展具有重要意义。
2 通向Agent之路
除了打通原先被限制的市场外,Mistral和Phi-2这类小模型的另一大逆袭之处,就是其与Agent的关系。
Mistral AI的CEO Arthur Mensch曾言:让模型变小一定会有助于Agents 的开发和应用。
而在模型层鲜有重大突破的今天,越来越多的人已经意识到:Agent就是大模型的未来。