IOSG Ventures：GPU供应危机，初创AI企业破局之路

原文作者：Mohit Pandit, IOSG Ventures

摘要

GPU 短缺是现实，供需紧张，但未充分利用的 GPU 数量可以满足当今供应紧缺的需求。

需要一个激励层来促进云计算的参与，然后最终协调用于推理或训练的计算任务。DePIN 模型正好适合这一用途。

因为供应方的激励，因为计算成本较低，需求方发现这很吸引人。

并非一切都是美好的，选择Web3云时必须做出某些权衡：比如‘延迟’。相对于传统的 GPU 云，面临的权衡还包括保险、服务水平协议 (Service Level Agreements) 等。

DePIN 模型有潜力解决 GPU 可用性问题，但碎片化模型不会使情况变得更好。对于需求呈指数级增长的情况，碎片化供应和没有供应一样。

考虑到新市场参与者的数量，市场聚合是不可避免的。

引言

我们正处于机器学习和人工智能的新时代边缘。虽然 AI 已经以各种形式存在一段时间（AI 是被告知执行人类可以做的事情的计算机设备，如洗衣机），但我们现在见证了复杂认知模型的出现，这些模型能够执行需要智能人类行为的任务。显著的例子包括 OpenAI 的 GPT-4 和 DALL-E 2 ，以及谷歌的 Gemini。

在迅速增长的人工智能（AI）领域，我们必须认识到发展的双重方面：模型训练和推理。推理包括 AI 模型的功能和输出，而训练包括构建智能模型所需的复杂过程（包括机器学习算法、数据集和计算能力）。

以 GPT-4 为例，最终用户关心的只是推理：基于文本输入从模型获取输出。然而，这种推理的质量取决于模型训练。为了训练有效的 AI 模型，开发者需要获得全面的基础数据集和巨大的计算能力。这些资源主要集中在包括 OpenAI、谷歌、微软和 AWS 在内的行业巨头手中。

公式很简单：更好的模型训练 >> 导致 AI 模型的推理能力增强 >> 从而吸引更多用户 >> 带来更多收入，用于进一步训练的资源也随之增加。

这些主要玩家能够访问大型基础数据集，更关键的是控制着大量计算能力，为新兴开发者创造了进入壁垒。因此，新进入者经常难以以经济可行的规模和成本获得足够的数据或利用必要的计算能力。考虑到这种情况，我们看到网络在民主化资源获取方面具有很大价值，主要是与大规模获取计算资源以及降低成本有关。

GPU 供应问题

NVIDIA 的 CEO Jensen Huang 在 2019 年 CES 上说“摩尔定律已经结束”。今天的 GPU 极度未充分利用。即使在深度学习/训练周期中，GPU 也没有被充分利用。

以下是不同工作负载的典型 GPU 利用率数字：

空闲（刚刚启动进入 Windows 操作系统）： 0-2% 

一般生产任务（写作、简单浏览）： 0-15% 

视频播放： 15 - 35% 

PC 游戏： 25 - 95% 

图形设计/照片编辑主动工作负载（Photoshop、Illustrator）： 15 - 55% 

视频编辑（主动）： 15 - 55% 

视频编辑（渲染）： 33 - 100% 

3D渲染（CUDA / OptiX）： 33 - 100% （常被 Win 任务管理器错误报告 - 使用 GPU-Z）

大多数带 GPU 的消费设备属于前三类。

GPU 运行时利用率%。Source: Weights and Biases

上述情况指向一个问题：运算资源利用不良。

需要更好地利用消费者 GPU 的容量，即使在 GPU 利用率出现高峰时，也是次优的。这明确了未来要进行的两件事情：

资源（GPU）聚合

训练任务的并行化

可以使用的硬件类型方面，现在有 4 种类型用于供应：

· 数据中心 GPU（例如，Nvidia A 100 s）

· 消费者 GPU（例如，Nvidia RTX 3060）

· 定制 ASIC（例如，Coreweave IPU）

· 消费者 SoCs（例如，苹果 M 2）

除了 ASIC（因为它们是为特定目的而构建的），其他硬件可以被汇集以最有效地利用。随着许多这样的芯片掌握在消费者和数据中心手中，聚合供应方的 DePIN 模型可能是可行的道路。