腾研专访 | 邬贺铨院士：中国大模型发展的优势、挑战及创新路径

图片来源：由无界 AI工具生成

随着ChatGPT在全球掀起热潮，一时之间其背后的AI大模型风起云涌。大家想知道，评价大模型水平高低的维度和标准有哪些？

ChatGPT上线让我们看到了在AIGC上的中美差距，那么，当前中国大模型发展状况如何？未来的中国大模型发展又面临哪些机遇与挑战？

当前处在向通用人工智能发展的关键时期，面临各家机构独立研究大模型的发展态势，如何提高算力效率并有效避免低水平重复？

有业界人士担忧AI将毁灭人类，这是否是杞人忧天？我们又该如何防患于未然，实现AI的结果可预期和行为可控？

带着关于AIGC的各种问题，腾讯研究院独家专访了中国工程院院士、我国通信领域权威专家邬贺铨。

【访谈者】

牛福莲 腾讯研究院高级研究员

邬春玲 腾讯研究院高级研究员

王   强  腾讯研究院资深专家

（以下简称T）

中国现有算力总规模相比美国：有差距但不大

T:有人说中国的大模型开发距离国外有1—2年的差距，您怎么看当前中国大模型的发展状况？

邬贺铨：中国在大模型开发方面起步比美国晚，在ChatGPT出来后，国内不少单位纷纷表示在研发生成式大模型，与美国目前已知仅有微软与谷歌等几个企业在研究大模型相比，我国研制大模型的单位比美国多，但研究主体数量多并不意味中国在大模型上研发水平高。据称国内某一大模型的参数量高达1.75万亿，超过了GPT-4，但尚未看到其应用的报道。虽然已有中国公司声称可推出类似ChatGPT的聊天机器人，但就支持多语种能力方面目前不如ChatGPT，就中文对话能力方面就响应速度而言也还有差距。

我们现在只注意到ChatGPT，它以生成式任务为目标，主要是完成如聊天和写作等语言生成，谷歌公司的BERT模型更注重判断决策，强调如问答和语义关系抽取等语言理解相关的任务，BERT模型的技术也值得我们关注。评价大模型水平应该是多维度的，全面性、合理性、使用便捷性、响应速度、成本、能效等，笼统地说目前我国大模型开发与国外的差距为1—2年的依据还不清楚，现在下这一结论意义也不大。

中国企业在获得中文语料和对中国文化的理解方面比外国企业有天然的优势，中国制造业门类最全，具有面向实体产业训练产业AIGC的有利条件。在算力方面中国已具有较好的基础。据OpenAI报告，训练GPT3 模型所需的算力高达3.64EFlops/天，相当于3—4个鹏城云脑Ⅱ（鹏城云脑Ⅱ为1Eflops，即每秒百亿亿次浮点计算）。按2022年年底的数据，美国占全球算力36%，中国占31%，现有算力总规模与美国相比有差距但不大，而以GPU和NPU为主的智能算力规模中，中国明显高于美国（按2021年年底数据，美国智算规模占全球智算总规模15%，中国占26%），我国不仅是大型互联网企业具有相当规模的算力，国家实验室和一些城市政府支持的实验室也有大规模的算力资源，可以说在训练大模型所需算力支持方面中国也能做到。据了解，鹏城实验室正在设计鹏城云脑Ⅲ，算力达到16EFlops，比GPT-3所用算力高3倍，预计耗资60亿元，将为人工智能训练持续提供强有力的算力支持。

中国AIGC研发：需认清差距重视挑战 实在创新

T：除了我们在算力方面有较好的基础之外，您认为在中国做大模型还面临哪些挑战？

邬贺铨：仅有算力还是不够的，在以下几方面我们还面临不少挑战：

首先，大模型的基础是深度学习框架，美国的Tensorflow和PyTorch已经深耕深度学习框架生态多年，虽然国内企业也自主开发了深度学习框架，但市场考验还不够，生态还有待打造。

其次，将AIGC扩展到产业应用可能需要不止一个大模型，如何将多个大模型高效地整合，有标准化和数据融合的挑战。

第三，大模型需要海量数据训练，中国有数千年的文明，但丰富的文化沉淀绝大多数并未数字化，中文在ChatGPT训练所用到的语料中还不到0.1%。虽然我国互联网企业拥有大量电商、社交、搜索等网络数据，但各自的数据类型不够全面，网上知识的可信性又缺乏严格保证，中文可供训练的语料还需要做大量的挖掘工作。

第四，大模型训练所依赖的GPU芯片以英伟达公司的A100芯片为代表，但该芯片已被美国限制向中国出口，国产GPU的性能还有待进一步考验，目前在算力的利用效率上还有差距。

第五，在中国从事AI研究的技术人员不算少，但具有架构设计能力和AIGC数据训练提示师水平的人才仍然短缺。在ChatGPT出现之前，有人认为中国在AI方面的论文与专利数与美国不相上下，ChatGPT的上线使我们看到了在AIGC上中美的差距，现在是需要清楚认识和重视我们面对的挑战，做实实在在的创新，将挑战化为机遇，在新一轮的AI赛道上做出中国的贡献。

建议开放国家算力平台支持各类大模型训练

T:ChatGPT无疑是一个巨大的创新，中国未来应如何鼓励类似这样的创新，应该多做哪些方面的工作？