在Sora引爆视频生成时，Meta开始用Agent自动剪视频了

文章来源：硅星人Pro

图片来源：由无界AI生成

未来，视频剪辑可能也会像视频生成领域一样迎来 AI 自动化操作的大爆发。

这几天，AI 视频领域异常地热闹，其中 OpenAI 推出的视频生成大模型 Sora 更是火出了圈。而在视频剪辑领域，AI 尤其是大模型赋能的 Agent 也开始大显身手。

随着自然语言被用来处理与视频剪辑相关的任务，用户可以直接传达自己的意图，从而不需要手动操作。但目前来看，大多数视频剪辑工具仍然严重依赖手动操作，并且往往缺乏定制化的上下文帮助。因此，用户只能自己处理复杂的视频剪辑问题。

关键在于如何设计一个可以充当协作者、并在剪辑过程中不断协助用户的视频剪辑工具？在本文中，来自多伦多大学、 Meta（Reality Labs Research）、加州大学圣迭戈分校的研究者提出利用大语言模型（LLM）的多功能语言能力来进行视频剪辑，并探讨了未来的视频剪辑范式，从而减少与手动视频剪辑过程的阻碍。

论文标题：LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing 论文地址：https://arxiv.org/pdf/2402.10294.pdf

具体而言，研究者推出了视频剪辑工具 LAVE，它具备了一系列由 LLM 提供的语言增强功能。LAVE 引入了一个基于 LLM 的规划和执行智能体，该智能体可以解释用户的自由格式语言命令、进行规划和执行相关操作以实现用户剪辑目标。智能体可以提供概念化帮助（如创意头脑风暴和视频素材概览）和操作帮助（包括基于语义的视频检索、故事板和剪辑修剪）。

为了使这些智能体的操作顺利进行，LAVE 使用视觉语言模型（VLM）自动生成视频视觉效果的语言描述。这些视觉叙述使 LLM 能够理解视频内容，并利用它们的语言能力协助用户完成剪辑。此外，LAVE 提供了两种交互视频剪辑模式，即智能体协助和直接操作。双重模式为用户提供了灵活性，并允许他们按需改进智能体操作。

至于 LAVE 的剪辑效果怎么样？研究者对包括剪辑新手和老手在内的 8 名参与者进行了用户研究，结果表明，参与者可以使用 LAVE 制作出令人满意的 AI 协作视频。

值得关注的是，这项研究的六位作者中有 5 位华人，包括一作、多伦多大学计算机科学博士生 Bryan Wang、Meta 研究科学家 Yuliang Li、Zhaoyang Lv 和 Yan Xu、加州大学圣迭戈分校助理教授 Haijun Xia。

LAVE 用户界面（UI）

我们首先来看 LAVE 的系统设计，具体如下图 1 所示。

LAVE 的用户界面包含三个主要组件，分别如下：

语言增强视频库，显示带有自动生成的语言描述的视频片段； 视频剪辑时间轴，包括用于剪辑的主时间轴； 视频剪辑智能体，使用户与一个会话智能体进行交互并获得帮助。

设计逻辑是这样的：当用户与智能体交互时，消息交换会在聊天 UI 中显示。当进行相关操作时，智能体对视频库和剪辑时间轴进行更改。此外，用户可以使用光标直接对视频库和时间轴进行操作，类似于传统的剪辑界面。

语言增强视频库

语言增强视频库的功能如下图 3 所示。

与传统工具一样，该功能允许剪辑播放，但会提供视觉叙述，即为每个视频自动生成文本描述，包括语义标题和摘要。这些标题可以帮助理解和索引剪辑，摘要则提供了每个剪辑的视觉内容的概述，帮助用户形成自身编辑项目的故事情节。每个视频下方都会显示标题和时长。

此外，LAVE 使用户可以利用语义语言查询来搜索视频，检索到的视频会在视频库中显示并按相关性排序。这一功能必须通过剪辑智能体来执行。

视频剪辑时间轴

从视频库中选定视频并将它添加到剪辑时间轴后，它们会显示在界面底部的视频剪辑时间轴上，如下图 2 所示。其中，时间轴上的每个剪辑都由一个框表示，并显示三个缩略图帧，分别是开始帧、中间帧和结束帧。