用消费显卡也能高性能训练和推理，谷歌、NVIDIA投了一家多大教授创立的公司

原文来源：阿尔法公社

图片来源：由无界 AI生成

在AI领域，创业公司与大公司相比，面临人才短缺和算力成本高企（包括训练和推理）等诸多挑战。解决算力问题日，大公司和超级独角兽们都盯着NVIDIA的A100，H100，H200等高性能AI芯片，但对于小公司，如果能充分利用相对便宜，算力不那么高，但也不那么紧缺的“普通”AI芯片，是现阶段解决算力问题更现实的方式。

一家由多伦多大学副教授Gennady Pekhimenko联合创立的创业公司CentML试图解决这个问题。他们声称，可以帮助客户利用非高端的AI芯片，把AI模型的推理和训练速度提高8倍。

CentML在2022年6月获得Radical Ventures领投的350万美元前种子轮（pre-seed）融资，在近期获得由谷歌人工智能基金Gradient Ventures领投，Radical Ventures、NVIDIA、德勤创投、汤森路透创投和Microsoft Azure AI副总裁Misha Bilenko参与投资的2700万美元的种子轮融资，它的累计融资额达到3050万美元，德勤和汤森路透的工程团队很快将成为CentML的客户。

CentML计划利用这笔资金在旧金山湾区开设新办公室，并在2024年底之前将其32人团队翻倍，聘请工程、销售和市场营销人员。

CentML首席执行官Gennady Pekhimenko用一句话讲清楚了CentML的使命：“当今人工智能面临的一个核心挑战是怎样既快速又经济高效的训练和运行AI模型，并把AI模型的能力大规模应用到行业中，CentML解决了这个问题。”

多伦多大学副教授创业，用软件手段将AI训练和推理成本降低

“市场规模超万亿美元的数据中心基础设施将从通用计算转向加速计算，因为各行业的公司们正竞相将生成式AI应用于每一种产品、服务和商业流程。”这是NVIDIA首席执行官黄仁勋对于算力范式转换的洞见。

正如他所言，目前AI行业对高性能芯片的需求，远远超过全球现有和可预见的芯片供应，AI芯片的供应不足已经是全球性的问题。但是最主流，最高性能的芯片仍然高度集中在少数几家芯片生产商手中，特别是NVIDIA，占据了市场的大部分份额。

根据Gartner的数据，预计2023年AI芯片支出将达到530亿美元，并在未来四年内翻一番以上。

尽管包括OpenAI、谷歌、AWS、Meta和微软在内的一些公司开始探索构建自己的定制芯片来进行AI模型训练和推理。但是根据《连线》杂志最近报道，甚至谷歌研究了多年的TPU，也没有在经济上获得明显的成效。

对于中小型创业公司，这个问题更加突出：由于大公司和独角兽们把最高端的芯片“包圆”了，创业公司不得不缩小模型的尺寸或者面对更高的推理延迟。

但是目前在市场上还出现一个现象，虽然最新最高端芯片极度紧缺，但是一些不那么高端的AI芯片或者旧款芯片却还没有被充分利用，甚至处于闲置状态，无论是芯片供应商，还是云计算服务商，都存在。

CentML瞄准的就是这个需求，他们的软件平台可以通过优化AI/ML模型，最大限度地利用当前硬件，无论这个硬件是高端还是低端，专业级还是消费级。“本质上，我们所做的就是为客户从现有硬件中挤出更多的价值。”CentML联合创始人兼首席执行官Gennady Pekhimenko表示。

CentML由Gennady Pekhimenko（CEO）、Akbar Nurlybayev（COO）、Shang Wang（CTO）和Anand Jayarajan（首席工程师）共同创建。他们的团队中还包括来自亚马逊、谷歌、英伟达和 IBM 等公司从事 AI、编译器和 ML 硬件工作的技术专家。

Pekhimenko是多伦多大学的副教授，毕业博士毕业于CMU，他也是AI研究机构Vector Institute for AI的教员。在成为教授前，他在MLPerf（全球AI基准测试组织）和微软研究院做过研究工作。他的论文被引用次数超过5000次，在高效内存系统、机器学习系统、编译器和硬件加速等方面有深厚研究。

可以说，Pekhimenko教授用了他整个学术生涯的研究成果，瞄准了AI算力不足的痛点，创立了CentML，Shang Wang和Anand Jayarajan均是Pekhimenko教授在多伦多大学的博士生。

Akbar Nurlybayev在Architech、500px、OPENLANE等多家知名科技公司担任技术团队领导，拥有丰富的技术决策和团队领导经验。

“我们相信AI将促进技术的各种新用例和能力，而AI运行在GPU的大规模并行计算能力上。CentML加速模型、协调工作负载和优化性能的能力，帮助公司和开发者利用不同级别的GPU实现以前不可能实现的高性能。这是一项非凡的技术和能力，有助于缓解目前和至少中期内AI面临的最大限制之一。