对话360集团CEO创始人周鸿祎：做大语言模型比做光刻机简单多了

来源：未来科技力

本文是5月31日品玩举办的“模型思辨——国内大模型生态研讨会”上，品玩创始人、CEO骆轶航与360集团创始人、CEO周鸿祎的对话实录，经整理编辑发布。

访谈人：骆轶航

受访人：周鸿祎

图片来源：由无界 AI工具生成

大模型确实要比光刻机简单很多

骆轶航：我现在是品玩的首席大语言模型布道师，今天跟我对话的既是中国大语言模型领域的一个主要builder，他也是一位大语言模型领域的evanglist（布道者）。过去几个月我们看到他在各种场合分享了对大语言模型趋势的看法，当然他自己的团队也在做大语言基础模型。他就是360集团的董事长和CEO周鸿祎先生。

周鸿祎：我前不久生病了才病愈，我是第一次阳，后遗症比较严重，如果一会儿产生大模型幻觉，说错什么话，大家不要在意。

骆轶航：那取决于我怎么给prompt，出现模型幻觉的原因往往是prompt给得不好。

周鸿祎：我在下面听你开场讲了这么久，感觉已经快溢出了。

骆轶航：那是你的Token不够用了。那好，我争取用短小精准的prompt问你问题。过去三个月所有人都在讨论大模型，您觉得春节以后，中国和美国在大语言模型领域的差距是更大了还是更小了？

周鸿祎：我觉得当然是更小了，因为在ChatGPT刚出来的时候，我这个做搜索的人，用搜索的思路去看人工智能，简直觉得匪夷所思不可思议，原来研发大模型的路径答案可以是这样的，你也完全不知道它的工作原理是什么。

但最近几个月国内同行陆陆续续发布了自己的大模型，虽然客观来讲跟GPT4.0还有点差距，相比GPT3.5也有点差距，但差距没有那么大。

顺道吐个槽，国内测试大模型特别喜欢用脑筋急转弯的形式，但如果你看微软对GPT4.0的测试，其实在推理能力以及非常长的思维链的能力上，GPT4.0是遥遥领先的。

话说回来，千里之行，始于足下，原来不知道什么是预训练，不知道什么是微调，不知道什么是用户强化学习，踩了很多坑。，又从百亿参数到几百亿、上千亿的参数，现在总算做出一个能用的东西，虽然有差距，但也是非常大的进步。

国内研发大模型满打满算，起步晚的过了春节开始做，到现在也就三五个月时间，再次证明大模型确实还是要比光刻机简单很多。

不过昨天看到英伟达的黄仁勋发布了Gp00芯片组，我觉得差距是不是又拉大了。

骆轶航：所以我才问差距究竟是在变大还是变小，这个事是动态的，一会儿大一会儿小。

周鸿祎：要看角度。算力差距肯定是拉大了，人家内存大概144TB，整个模型放进去都绰绰有余，这样就不需要搞好几百台电脑集群训练了，同样参数的模型，过去一个月才能训练完的，现在三个小时或者一天就能训练完。

这种迭代速度太惊人了，因为很多时候训练的结果不一定是收敛的，可能训练一个月后发现是一地鸡毛，还得从头训练，但一个月的时间已经过去了。因此别人的训练速度可能比你快上百倍，从这个角度来说，中美之间算力带来的大模型差距拉大了。

我的感觉跟你是一样的，大家都感觉很焦虑，三个月就像三十年，每天都有层出不穷的围绕大语言模型的成果，软的硬的，各种框架开源工具都有出来。但整体来说，我还是倾向于比较乐观。

骆轶航：但不少同行觉得用一个很快的时间就能追赶上ChatGPT的现在水准，当然ChatGPT本身也在迭代。

周鸿祎：我觉得差距是客观存在的，只是行业中有人爱吹牛，如果要准确预言差距将会在哪一天赶上，我个人觉得还是应该谦虚一点，毕竟中国还是有很多人真正用过GPT4.0的，你不能因为大部分人都没见过就吹牛吧。

我们应该找到差距在哪里，然后找到合适的场景充分发挥它的能力同时让用户对创新和面临的困难有宽容和理解的接受度，不然吹牛吹得太大，大家期望很高，结果一用起来很失望。

垂直领域的机会还远远没有表现出来

骆轶航：同行中您比较看好谁？是比360体量更大的巨头，还是创业公司？

周鸿祎：我觉得各有各的优势，最关键的是中国不会只有一个GPT4.0就满足了，也不会只有一个大模型。

现在有一个趋势是把大模型做小，小到一台安装了英伟达3090、4090芯片的机器可以微调，甚至是将来在IoT（物联网）设备上部署，这就决定大模型算力结构将来会无处不在。