AI 3D创作来了？“抢饭碗”成真

来源：VR陀螺

作者：元桥

图片来源：由无界 AI工具生成

VR一直都以轻量化内容为主，缺重度内容已久。

重度内容相较于轻量化内容更能满足用户的沉浸式体验，以游戏为例，好的体验感需要大量高精度3D素材，丰富的游戏角色和精美的画面场景，在此基础上增加空间感知与交互、玩法等。

传统的建模方式不仅成本较高而且具备较高的门槛，同时人工建模领域优秀的建模师稀缺，这也使成本再次上升。因此，业内都在寻求高效且低成本的3D内容生成方式。

近期，生成式AI爆火，从AIGC到3D模型，各大公司都开始自研或发布AI 3D创作解决方案。例如腾讯AI Lab提出自研3D虚拟场景自动生成解决方案，帮助游戏开发者以更低成本创造风格多样、 贴近现实的虚拟城市，提升3D虚拟场景的生产效率。

生成式AI仅仅依靠一张图片或者输入关键文字就能转化成3D模型，这种惊人的创作很快就让人对这个领域产生了一连串的畅想：AI 3D创作真的要来了吗？内容创作者的饭碗还稳吗？以下将从VR内容制作的两个重要环节：建模与渲染进行分析。

AI 3D建模正加速到来 

3D素材是包括游戏、影视、社交等所有3D应用的基石，如果可以通过输入文本快速生成三维模型，3D建模师就可以结合这项技术提高工作的效率，达到降本增效的效果，而海量的3D素材无疑会进一步推动VR的发展。

前面也提到由于人工建模需要花费大量的时间和成本，因此很难满足AR/VR对3D素材的需求。若想推动元宇宙产业快速发展，海量的3D素材少不了，这也是为什么各大企业都在纷纷研发结合AI创建3D建模的技术。

2022年谷歌曾发表过一篇论文《DreamFusion：Text-To-3D Using 2D Diffusion》，详细概述了“DreamFusion”。简单来看，“DreamFusion”是先使用一个预训练2D扩散模型（如Imagen）基于文本提示生成多个视角的3D视图，再依据NeRF（神经辐射场）重建。

NeRF与Imagen互相影响，没有一个训练得比较好的NeRF，Imagen很难生成连贯的多视角图；反之，就得不到好的NeRF。于是作者提出NeRF和Imagen来回迭代的方法。这种来回迭代有个缺陷是耗时，如来回迭代15000次，生成一个模型就需要在4块TPUv4上训练1.5小时。

图：3DNeRF和2D生成模型来回迭代优化（来源：dreamfusion3d）

目前很多三维方法都是基于NeRF所生成的，这种方式生成的三维物体在效率、渲染、质量上都有显著的提升，但现阶段还不能做结构数据，也就是Mesh，无法用来开发VR重度内容。关于NeRF（神经辐射场）详细介绍，可以参阅VR陀螺近期文章《高效低成本构建元宇宙场景：NeRF神经辐射场》

2022年，英伟达也发表了一篇关于《Magic3D：High-Resolution Text-to-3D Content Creation》的论文。文中阐述了生成式AI如何无需特殊培训也可创建3D模型的过程。

随着近期AIGC的爆火，Magic3D在业内得到了极大的关注。也正因为看到Magic3D建模的效果，业内人士普遍认为AI 3D创作真的要来了。

Magic3D将重建过程分成了两部分，一是先使用低分辨率创建粗略的模型，到第二阶段从粗神经表示初始化的纹理网格模型，使用与高分辨率潜在扩散模型交互的高效可微的光栅化渲染器进行优化。类似于DreamFusion使用文本到生成2D图像，然后基于NeRF创建3D模型一般。

Magic3D还可以根据给定主题实例输入图像，使用DreamBooth微调扩散模型，并使用给定的提示优化3D模型。

同时，只需要40分钟左右，Magic3D就可以创建一个带有彩色纹理的3D网格模型，相比DreamFusion快了2倍。

目前DreamFusion和Magic3D尚未开源，同时也未达到商业化的成熟度。AI创作对数据、算法有着极高的要求，而3D数据又具有天然的稀缺性，难收集等特点，即便有了庞大的数据，AI如何从庞大的数据中学习创作也是一个问题；而从2D直接扩展到3D，也需要极大的计算量，如何加快优化速度，如何撰写正确的脚本都是需要解决的算法问题。

此外，AI 3D创作在落地场景、可行性的商业化路径、技术风险等方面都尚无法达到工业化的生产标准，甚至还有很长一段路要走，据业内预估可能五年或长达十年之久。但可以看到的是ChatGPT已经可以根据一段文字描述进行编码生成脚本，而GPT-5大模型也在筹备中了，就像互相迭代一样，通过不断地反馈更改，AI会变得越来越智能，所生成的编码会逐步优化升级，达到初步使用的需求。