清华系ChatGLM3现场怼脸演示
马库斯锐评GPT-5!急需新范式,OpenAI并无优势
原文来源:新智元
图片来源:由无界AI生成
有关GPT-5的消息最近又火起来了。
从最一开始的爆料,说OpenAI正在秘密训练GPT-5,到后来Sam Altman澄清;再到后来说需要多少张p00 GPU来训练GPT-5,DeepMind的CEO Suleyman采访「实锤」OpenAI正在秘密训练GPT-5。
然后又是新一轮的猜测。
中间还穿插了Altman的大胆预测,什么GPT-10会在2030年前出现,超过全人类的智慧总和,是真正的AGI云云。
再到最近OpenAI名叫Gobi的多模态模型,强势叫板谷歌的Gimini模型,两家巨头的竞争一触即发。
一时间,有关大语言模型的最新进展成了圈内最热门的话题。
套用一句古诗词,「犹抱琵琶半遮面」来形容,还挺贴切的。就是不知道,什么时候能真的「千呼万唤始出来」。
时间线回顾
今天要聊的内容和GPT-5直接相关,是咱们的老朋友Gary Marcus的一篇分析。
核心观点就一句话:GPT-4到5,不是光扩大模型规模那么简单,是整个AI范式的变化。而从这一点来看,开发出GPT-4的OpenAI并不一定是先到达5的那一家公司。
换句话说,当范式需要变革的时候,之前的积累可迁移性不大。
不过在走进Marcus的观点之前,我们还是简要复习一下最近有关传说中的GPT-5都发生什么了,舆论场都说了些什么。
一开始是OpenAI的联合创始人Karpathy发推表示,p00是巨头们追捧的热门,大家都关心这东西谁有,有多少。
然后就是一大波讨论,各家公司需要多少张p00 GPU来训练。
大概就是这样。
GPT-4可能在大约10000-25000张A100上进行了训练
Meta大约21000 A100
Tesla大约7000 A100
Stability AI大约5000 A100
Falcon-40B在384个A100上进行了训练
有关这个,马斯克也参与了讨论,根据马斯克的说法,GPT-5的训练可能需要30000到50000个p00。
此前,摩根士丹利也说过类似的预测,不过总体数量要比马斯克说的少一点,大概是25000个GPU。
当然这波把GPT-5放到台面上去聊,肯定少不了Sam Altman出来辟谣,表明OpenAI没在训练GPT-5.
有大胆的网友猜测,OpenAI之所以否认,很有可能只是把下一代模型的名字给改了,并不叫GPT-5而已。
反正根据Sam Altman的说法,正是因为GPU的数量不足,才让很多计划被耽搁了。甚至还表示,不希望太多人使用GPT-4。
整个业内对GPU的渴求都是如此。据统计,所有科技巨头所需的GPU加起来,得有个43万张还要多。这可是一笔天文数字的money,得差不多150亿美元。
但通过GPU的用量来倒推GPT-5有点太迂回了,于是DeepMind的创始人Suleyman直接在采访中「锤」了,表示OpenAI就是在秘密训练GPT-5,别藏了。
当然在完整的访谈中,Suleyman还聊了不少业内大八卦,比方说在和OpenAI的竞争中,DeepMind为啥就落后了,明明时间上也没滞后太多。
还有不少内部消息,比如当时谷歌收购的时候发生了什么。但这些跟GPT-5怎么着关系就不大了,有兴趣的朋友可以去自行了解。
总而言之,这波是业内大佬下场聊GPT-5的最新进展,让大伙不禁疑云陡起。
在这之后,Sam Altman在一场一对一连线中又表示,「我觉得2030年之前,AGI要出现,叫GPT-10,超过全人类的智慧总和。」
一方面大胆预测,一方面否认在训练GPT-5,这让别人很难真正知道OpenAI在做些什么。
在这场连线中,Altman设想了很多属于未来的图景。比如他自己怎么理解AGI,什么时候会出现AGI,真出现AGI了OpenAI会怎么办,全人类又该怎么办。
不过就实际进展来说,Altman是这么规划的,「我和公司中的员工说,我们的目标就是每12个月能让我们的原型产品性能提升10%。」
「如果把这个目标设定到20%可能就会有些过高了。」
这算是个具体安排。但是10%、20%和GPT-5之间的联系又在哪,也没说得很清楚。
最有含金量的还是下面这个——OpenAI的Gobi多模态模型。
重点在于谷歌和OpenAI之间的白热化竞争,到了哪个阶段。
说Gobi之前,先得说说GPT-vision。这一代模型就很厉害了。拍个草图照片,直接发给GPT,网站分分钟给你做出来。
写代码那更不用说了。
而GPT-vision完了,OpenAI才有可能会推出更强大的多模态大模型,代号为Gobi。
跟GPT-4不同,Gobi从一开始就是按多模态模型构建的。
这也让围观群众的兴趣一下被勾起来了——Gobi就是传说中的GPT-5吗?
当然现在我们还不知道Gobi训练到哪一步了,也没有确切消息。
而Suleyman还是坚定地认为,Sam Altman最近说过他们没有训练GPT-5,可能没有说实话。
Marcus观点
开宗明义,Marcus首先表示,很有可能,在科技史上,没有任何一款预发布的产品(iPhone可能是个例外)比 GPT-5被寄予了更多的期望。
这不仅仅是因为消费者对它的热捧,也不仅仅是因为一大批企业正计划着围绕它白手起家,甚至就连有些外交政策也是围绕GPT-5制定的。
此外,GPT-5的问世也可能加剧刚刚进一步升级的芯片战争。
Marcus表示,还有人专门针对 GPT-5 的预期规模模型,要求其暂停生产。