智源大会2023观后感：对AI更有信心 也更担心人类了

6月9日，为期两天的「北京智源大会」在中关村国家自主创新示范区会议中心成功开幕。

智源大会是智源研究院（也被称为中国OpenAI的最强中国AI研究院）主办的年度国际性人工智能高端专业交流活动，定位于「AI内行顶级盛会」，也被戏称为「AI春晚」——从参会嘉宾阵容可见一斑：

图灵奖得主Geoffrey Hinton、Yann LeCun（这也是深度学习三巨头之二，另一位Bengio出席过之前的大会）、Joseph Sifakis和姚期智，张钹、郑南宁、谢晓亮、张宏江、张亚勤等院士，加州大学伯克利分校人工智能系统中心创始人Stuart Russell，麻省理工学院未来生命研究所创始人Max Tegmark，OpenAI首席执行官Sam Altman（这也是他的第一次中国演讲，虽然是线上）、Meta、微软、谷歌等大厂和DeepMind、Anthropic、HuggingFace、Midjourney、Stability AI等明星团队成员，总共200余位人工智能顶尖专家……

这两天跟着追完了大会直播，作为一个不懂技术的文科生，竟然听得津津有味，收获满满。

不过，看完最后图灵奖得主、「深度学习之父」Geoffrey Hinton 的演讲，一种强烈而复杂的情绪笼罩了我：

一方面，看到AI研究者们对各类前沿技术的探索和畅想，会自然而然地对AI乃至未来的通用人工智能AGI的实现更有信心了；

另一方面，听到最前沿的专家学者们讨论AI的风险、以及人类对如何应对风险的无知和轻视，又对人类的未来充满担心——最本质的问题，用Hinton的话来说就是：历史上从来没有过更智能的事物被不那么智能的事物控制的先例，假如青蛙发明了人类，你觉得谁会取得控制权？是青蛙，还是人？

由于两天的大会信息量爆炸，花点时间整理了一些重要演讲的资料，顺便记录下自己的一些感想，方便后续复习查阅，也分享给关心AI进展的各位。

说明：下文标【注】部分为个人感想，内容概括为引用（能力有限自己写不出来-_-||），出处为每部分最后的链接，部分有修改。

---

OpenAI CEO Sam Altman：AGI或将十年内出现

6月10日全天的“AI安全与对齐”论坛，OpenAI联合创始人Sam Altman进行了开场主题演讲——也是他第一次中国演讲，虽然是线上。

演讲围绕模型的可解释性、可扩展性和可泛化性给出了见解。随后，Sam Altman和智源研究院理事长张宏江开展了尖峰问答，主要探讨在当前的AI大模型时代，如何深化国际合作，如何开展更安全的AI研究，以及如何应对AI的未来风险。

精彩摘要：

当下人工智能革命影响如此之大的原因，不仅在于其影响的规模，也是其进展的速度。这同时带来红利和风险。

AI 带来的潜在红利是巨大的。但我们必须共同管理风险，才能达到用其提升生产力和生活水平的目的。

随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。大国意见分歧在历史上常有，但在一些重要的大事上，必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。演讲中，Altman多次强调全球AI安全对齐与监管的必要性，还特别引用了《道德经》中的一句话：千里之行，始于足下。对齐仍然是一个未解决的问题。

想象一下，未来的 AGI 系统或许具有 10 万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。

GPT-4 花了八个月的时间完成对齐方面的工作。但相关的研究还在升级，主要分为扩展性和可解释性两方面。一是可扩展监督，尝试用AI系统协助人类监督其他人工智能系统。二是可解释性，尝试理解大模型内部运作「黑箱」。最终，OpenAI的目标是，训练AI系统来帮助进行对齐研究。

在被张宏江问及距离通用人工智能（AGI）时代还有多远时，萨姆·奥特曼表示，“未来10年内会有超强AI系统诞生，但很难预估具体的时间点”，他也强调，“新技术彻底改变世界的速度远超想象。”

当被问及OpenAI是否会开源大模型，Altman称未来会有更多开源，但没有具体模型和时间表。另外，他还表示不会很快有GPT-5。 会后，Altman发文对这次受邀来智源大会演讲表示感谢。

---

图灵奖得主杨立昆：GPT模式五年就不会有人用，世界模型才是AGI未来