推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀

原文来源：新智元

图片来源：由无界 AI生成

像Pika一样的神级创业故事又要再次上演了？

两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。

在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了Etched.ai，获得了包括Ebay前CEO Devin Wenig在内一众风投机构的536万美元的种子轮投资。

公司估值更是高达3400万美元！

根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍！

他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。

芯片还支持通过树搜索更好地编码，能够并行比较数百个响应。

还支持多重推测解码（Multicast speculative decoding），可以实时生成新的内容。

根据官方公布的具体细节，这款芯片只有一个核心，但是配备了144GB的HBM3e显存：

- 完全开源的软件栈，可扩展至100T参数型号

- 支持波束搜索（Beam search）和MCTS解码

- 支持MoE和Transformer的各种变体

两个哈佛辍学本科生挑战芯片行业最顶尖业务

两人原本计划从哈佛休学一年，在一家芯片公司找到了一份负责ApacheTVM开源编译器和微内核的工作。

但在工作中，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。

当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款针对当下爆火的AI加速芯片。

在创始人之一的Uberti看来，通用设计无法获得他们正在研发的专有加速芯片所能带来的那种性能提升：

「必须在单一架构上下大力气，让芯片处理AI任务，目标太大了，必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。」

在他们两人看来，这个市场机会太大了，一定不能错过。

「如果你回顾四年前的GPT-2，与Meta最近的 Llama模型相比，只有两个区别——大小和激活函数。训练方式存在差异，但这对于推理来说并不重要。」

Transformer的基本组件是固定的，虽然存在细微差别，但他们并不担心短期之内就会出现新的构架代替Transformer。

所以他们决定做一个Transformer构架的专用集成电路（ASIC），在未来和英伟达等一系列芯片巨头在大模型推理市场中竞争。

他们认为，Etched.ai推出的第一款芯片，相比于H100，单位价格内将获得140倍的吞吐量性能！

二到底是什么样的背景，能让两个本科还没有毕业的学生，敢于挑战芯片业目前最炙手可热的赛道呢？