复旦博导李直旭：如何走向AGI？大模型与知识图谱的竞合新模式

来源：知识工场

作者：李直旭

原标题《一家之言丨AIGC时代的多模态知识工程思考与展望》

李直旭，复旦大学研究员、博士生导师，上海市数据科学重点实验室主任助理，复旦大学知识工场实验室执行副主任，曾兼任科大讯飞苏州研究院副院长，博士毕业于澳大利亚昆士兰大学。主要研究方向为认知智能与知识工程、多模态知识图谱、大数据分析与挖掘等。在领域主流期刊和国际会议上发表论文150余篇，主持十余项国家和省部级科研项目。

内容简介：ChatGPT的火爆出圈使得AI生成（AIGC）技术受到了全社会前所未有的广泛关注。此消彼长之下，传统的知识工程遭受了诸多质疑。在多模态智能领域，AIGC的能力不断提升，多模态知识工程工作应该何去何从？是否仍有价值？在本次分享中，讲者将探讨当前AIGC技术耀眼“光芒”背后的“暗面”，思考与展望AIGC时代的多模态知识工程研究。

关于AIGC时代的多模态知识工程思考与展望，我们将从以下六个方面展开介绍：

第一部分，我们回顾一下AIGC技术的发展历程和它带来的划时代影响力；

第二部分，我们对AIGC技术的不足（阿克琉斯之踵）之处进行分析与总结；

第三部分，我们将介绍多模态认知智能的框架和两种实现路径，并进行对比分析；

第四~六部分，我们会展望当前AIGC大模型和MMKG多模态图谱间如何竞与合。

01、AIGC时代：未来已来

随着人工智能总体阶段的发展，生成式人工智能技术（AIGC）也在不断迭代。从20世纪50年代到90年代中期，是AIGC的早期萌芽阶段，这一时期受限于技术水平，AIGC仅限于小范围实验。这一时期的AIGC典型事件包括：1950年，艾伦·图灵提出的著名的“图灵测试”，给出判断机器是否具有“智能”的方法；1966年，世界上第一款可人机对话机器人“Eliza”的问世；以及在80年代中期IBM公司创造的语音控制打字机“Tangora”的出现。

而从20世纪90年代到21世纪10年代中期，AIGC处于沉淀积累阶段，这一阶段的AIGC技术从实验性向实用性转变，但仍因受限于算法瓶颈，无法直接进行内容生成。这一阶段的AIGC典型事件则包括2007年世界上第一部完全由人工智能创作的小说《1 the road》的问世；以及2012年微软开发的全自动同声传译系统的出现，它能够将英文语音自动翻译成中文语音。

自21世纪10年代中期至今，是AIGC快速发展的阶段，得益于深度学习算法不断迭代，人工智能生成内容百花齐放。2014年，Goodfellow提出的生成对抗网络GAN用于生成图像；2019年，英伟达发布StyleGAN模型可以自动生成高质量图片；2019年DeepMind发布DVD-GAN用于生成连续性视频，直到2022年，OpenAI发布ChatGPT模型生成流畅的自然语言文本。

可以说，ChatGPT的爆红出圈宣告了AIGC时代的到来。

现在的AIGC技术可以生成的内容包括文本、图像、音频和视频等。如今，已经有很多强大的算法被发明出来，如用于图像生成的Stable Diffusion算法。此外，还有很多走在技术前沿的创业公司不断推动AIGC技术的应用落地，如Jasper AI的AI写作软件和midjourney的AI绘画工具的发明都在解放着人类的内容创作生产力。这些共同促进了一个万物皆可AI生成的AIGC时代。

右图是一张来自互联网的趣味图片——机器人一家三口在人类博物馆中观赏人类的最后一篇推文“GPT-5也没啥了不起的”——表达了创作者对当今AIGC技术飞速发展的隐隐担忧。

那么，我们首先看一下多模态大模型的分类与发展脉络。如上图所示，多模态大模型发展非常迅速，我们可以将多模态大模型简单分为多模态统一大模型和多模态文图生成大模型，前者用于统一的多模态生成和理解，后者特指具备强大的多模态文到图生成能力的大模型。

当前，文图生成大模型已经可以生成逼真、高清以及风格化的意境图像。

还有一些文图生成大模型，如斯坦福大学提出的ControlNet，其生成能力更加精致、可控。它不仅可以生成各类质地细腻、细节精致的图片，也可以通过简笔画来对图像生成进行操控。

AIGC大模型生成的视频在某种程度上也可谓自然流畅、栩栩如生。