复制成功

分享至

主页 > 数字货币 >

只需一张图片、一句动作指令,Animate124轻松生成3D视频

2023.12.21
Animate124,轻松将单张图片变成 3D 视频。

原文来源:机器之心

只需一张图片、一句动作指令,Animate124轻松生成3D视频

图片来源:由无界 AI生成

近一年来,DreamFusion 引领了一个新潮流,即 3D 静态物体与场景的生成,这在生成技术领域引发了广泛关注。回顾过去一年,我们见证了 3D 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步,逐渐融入单视角图像,进而发展到整合多种控制信号。

与此相较,3D 动态场景生成仍处于起步阶段。2023 年初,Meta 推出了 MAV3D,标志着首次尝试基于文本生成 3D 视频。然而,受限于开源视频生成模型的缺乏,这一领域的进展相对缓慢。

然而,现在,基于图文结合的 3D 视频生成技术已经问世!

尽管基于文本的 3D 视频生成能够产生多样化的内容,但在控制物体的细节和姿态方面仍有局限。在 3D 静态生成领域,使用单张图片作为输入已经能够有效重建 3D 物体。由此受到启发,来自新加坡国立大学(NUS)和华为的研究团队提出了 Animate124 模型。该模型结合单张图片和相应的动作描述,实现了对 3D 视频生成的精准控制。

只需一张图片、一句动作指令,Animate124轻松生成3D视频 项目主页: https://animate124.github.io/ 论文地址: https://arxiv.org/abs/2311.14603 Code: https://github.com/HeliosZhao/Animate124 只需一张图片、一句动作指令,Animate124轻松生成3D视频

核心方法

方法概括

根据静态和动态,粗糙和精细优化,本文将 3D 视频生成分为了 3 个阶段:1)静态生成阶段:使用文生图和 3D 图生图扩散模型,从单张图像生成 3D 物体;2)动态粗糙生成阶段:使用文生视频模型,根据语言描述优化动作;3) 语义优化阶段:额外使用个性化微调的 ControlNet,对第二阶段语言描述对外观造成的偏移进行优化改善。

只需一张图片、一句动作指令,Animate124轻松生成3D视频

图 1. 整体框架

静态生成

本文延续 Magic123 的方法,使用文生图(Stable Diffusion)和 3D 图生图(Zero-1-to-3)进行基于图片的静态物体生成:

只需一张图片、一句动作指令,Animate124轻松生成3D视频

对于条件图片所对应的视角,额外使用损失函数进行优化:

只需一张图片、一句动作指令,Animate124轻松生成3D视频

通过上述两个优化目标,得到多视角 3D 一致的静态物体(此阶段在框架图中省略)。

动态粗糙生成

此阶段主要使用文生视频扩散模型,将静态 3D 视为初始帧,根据语言描述生成动作。具体来说,动态 3D 模型(dynamic NeRF)渲染连续时间戳的多帧视频,并将此视频输入文生视频扩散模型,采用 SDS 蒸馏损失对动态 3D 模型进行优化:

只需一张图片、一句动作指令,Animate124轻松生成3D视频

仅使用文生视频的蒸馏损失会导致 3D 模型遗忘图片的内容,并且随机采样会导致视频的初始和结束阶段训练不充分。因此,本文的研究者们对开始和结束的时间戳进行过采样。并且,在采样初始帧时,额外使用静态函数进行优化(3D 图生图的 SDS 蒸馏损失):

只需一张图片、一句动作指令,Animate124轻松生成3D视频

因此,此阶段的损失函数为:

只需一张图片、一句动作指令,Animate124轻松生成3D视频

语义优化

即使采用了初始帧过采样并且对其额外监督,在使用文生视频扩散模型的优化过程中,物体的外观仍然会受到文本的影响,从而偏移参考图片。因此,本文提出了语义优化阶段,通过个性化模型对语义偏移进行改善。

由于仅有单张图片,无法对文生视频模型进行个性化训练,本文引入了基于图文的扩散模型,并对此扩散模型进行个性化微调。此扩散模型应不改变原有视频的内容和动作,仅对外观进行调整。因此,本文采用 ControlNet-Tile 图文模型,使用上一阶段生成的视频帧作为条件,根据语言进行优化。ControlNet 基于 Stable Diffusion 模型,只需要对 Stable Diffusion 进行个性化微调(Textual Inversion),即可提取参考图像中的语义信息。个性化微调之后,将视频视为多帧图像,使用 ControlNet 对单个图像进行监督:

只需一张图片、一句动作指令,Animate124轻松生成3D视频

免责声明:数字资产交易涉及重大风险,本资料不应作为投资决策依据,亦不应被解释为从事投资交易的建议。请确保充分了解所涉及的风险并谨慎投资。OKEx学院仅提供信息参考,不构成任何投资建议,用户一切投资行为与本站无关。

加⼊OKEx全球社群

和全球数字资产投资者交流讨论

扫码加入OKEx社群

相关推荐

industry-frontier