单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法

来源：机器之心

3D 生成是 AI 视觉领域的研究热点之一。本文中，来自 Adobe 研究院和斯坦福大学等机构的研究者利用基于 transformer 的 3D 大型重建模型来对多视图扩散进行去噪，并提出了一种新颖的 3D 生成方法 DMV3D，实现了新的 SOTA 结果。

2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（SDS）损失的 NeRFs 方法进行了探索。然而，基于 SDS 的方法通常需要花费数小时来优化资源，并且经常引发图形中的几何问题，比如多面 Janus 问题。

另一方面，研究者对无需花费大量时间优化每个资源，也能够实现多样化生成的 3D 扩散模型也进行了多种尝试。这些方法通常需要获取包含真实数据的 3D 模型 / 点云用于训练。然而，对于真实图像来说，这种训练数据难以获得。由于目前的 3D 扩散方法通常基于两阶段训练，这导致在不分类、高度多样化的 3D 数据集上存在一个模糊且难以去噪的潜在空间，使得高质量渲染成为亟待解决的挑战。

为了解决这个问题，已经有研究者提出了单阶段模型，但这些模型大多数只针对特定的简单类别，泛化性较差。

因此，本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此，他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型，能直接根据模型文字或单张图片的输入，生成 3D NeRF。在单个 A100 GPU 上，仅需 30 秒，DMV3D 就能生成各种高保真 3D 图像。

具体来讲，DMV3D 是一个 2D 多视图图像扩散模型，它将 3D NeRF 重建和渲染集成到其降噪器中，以端到端的方式进行训练，而无需直接 3D 监督。这避免了单独训练用于潜在空间扩散的 3D NeRF 编码器（如两阶段模型）和繁琐的对每个对象进行优化的方法（如 SDS）中会出现的问题。

本质上，本文的方法是对 2D 多视图扩散的框架进行 3D 重建。这种方法受到了 RenderDiffusion 的启发，它是一种通过单视图扩散实现 3D 生成的方法。然而，RenderDiffusion 的局限性在于，训练数据需要特定类别的先验知识，数据中的对象也需要特定的角度或姿势，因此泛化性很差，无法对任意类型的对象进行 3D 生成。

相比之下，研究者认为一组稀疏的包含一个对象的四个多视角的投影，足以描述一个没有被遮挡的 3D 物体。这种训练数据的输入源于人类的空间想象能力。他们可以根据几个对象的周围的平面视图，想象出一个完整的 3D 物体。这种想象通常是非常确定和具像化的。

然而，利用这种输入本质上仍需解决稀疏视图下 3D 重建的任务。这是一个长期存在的问题，即使在输入没有噪声的情况下，也是一个非常具有挑战性的问题。

本文的方法能够基于单个图像 / 文本实现 3D 生成。对于图像输入，他们固定一个稀疏视图作为无噪声输入，并对其他视图进行类似于 2D 图像修复的降噪。为了实现基于文本的 3D 生成，研究者使用了在 2D 扩散模型中通常会用到的、基于注意力的文本条件和不受类型限制的分类器。

他们只采用了图像空间监督，在 Objaverse 合成的图像和 MVImgNet 真实捕获的图像组成的大型数据集上进行了训练。从结果来看，DMV3D 在单图像 3D 重建方面取得了 SOTA，超越了先前基于 SDS 的方法和 3D 扩散模型。DMV3D 生成的基于文本的 3D 模型，也优于此前的方法。

论文地址：https://arxiv.org/pdf/2311.09217.pdf

官网地址：https://justimyhxu.github.io/projects/dmv3d/

我们来看一下生成的 3D 图像效果。

方法概览

单阶段 3D 扩散模型是如何训练并推理的呢？