视频版Midjourney又进化了：一句话生成视频，谷歌注资，网友大呼好莱坞已死！

提到国外的生成式AI大模型，文本生成领域有ChatGPT，图像生成领域有Midjourney和Stable Diffusion，那么视频生成领域有什么？

很多人第一个会想到Runway公司的Gen-1。

Gen-1是Runway在今年2月推出的一款（也是该公司的第一款）由文本生成视频的AI大模型。不过就在几天前，它的迭代版本Gen-2也正式发布了。

在此之前，Gen-2从3月下旬开始已经进行了一段时间的小范围测试。

虽然当时Runway的发言人Kelsey Rondenet说过Gen-2会在未来几周对所有人开放，不过直到6月，这个承诺才算真的兑现了。

所以千呼万唤始出来的Gen-2，到底进化到哪一步了？

真正的从零开始生成视频

在发布Gen-1的时候，Runway专门开辟了一个网页来给大家讲解Gen-1能怎么用，大致来讲主要包括了下面5个功能：

-输入一张图片提示，来让原视频变成你想要的风格；

-上传视频+一段提示词，生成你想要的视频（比如让一只拉布拉多变成斑点狗）；

-输入图片或提示词，来让一段只做了3D建模的视频草稿变完整；

-上传一段随意拍摄的视频，自动生成一段有故事感的片段（比如随意摆放的书最后成了一片高楼大厦）；

-在原视频的基础上，更自由地定制你想要的视频风格（哪怕变出一只现实里并不存在的奇行种）。

发现没有，使用Gen-1的前提是必须先有一个现成的视频。说白了，Gen-1的作用其实就相当于给原视频加了一个更高级的滤镜。

而到了Gen-2，可以说才真正实现了从零开始生成视频的梦想。

从介绍来看，Gen-2比Gen-1多了3个厉害的功能：

-文本到视频：只用输入一段提示词，就能生成一段视频；

-文本和图片到视频：输入一张图片+一段提示词，就能让图片动起来；

-图片到视频：只用输入一张图片，就能自动生成一段视频（比如让图片里的云飘起来，水流起来，人走动起来）。

此图为输入“The late afternoon sun peeking through the window of a New York City loft”的提示词生成

如果说Gen-1充其量只能当做一个修改视频的工具，那么Gen-2几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段，最后拼到一起就能讲一个完整的故事了……

总之就是只能拿来玩和能拿来用的区别。

虽然目前Gen-2生成的视频依然存在细节模糊不清、形态扭曲等等品质问题，且生成的视频长度最多只有4秒，但它可能是现在视频生成领域最厉害的AI大模型工具了。

当然，从Gen-2开始，也标志着Runway公司正式进入了收费时代：不同于Gen-1的完全免费，Gen-2免费版的视频生成功能有限（试用额度只有105秒，约等于26个4秒视频，且分辨率低、有水印），用户需要每月付15美元（或144美元包年）才能用到它的完整功能。

Runway有啥来头？

Gen-2背后的Runway是一家成立于2018年的年轻公司，一直在研究怎么用AI来提升视频制作效率。

除了TikTok和YouTube上的普通用户，Runway的客户还包括了不少主流影视工作室，比如扣扣熊主持的《深夜秀》就用到过Runway的工具来辅助编辑图像。

它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》，据报道里面让人印象深刻的面条手，还有石头对话等超现实场景都用到了Runway的技术。

不过很多人可能会忽略的是，早些天被爆出大丑闻的Stable Diffusion也和Runway关系密切。

准确来说是一直被外界视作Stable Diffusion（时下图像生成领域最热门的大模型之一）背后公司的Stability AI爆雷了，媒体列出Stability AI的罪状之一就是，它把Stable Diffusion的10亿代码成果“据为己有”，而它充其量只是给Stable Diffusion提供了算力（出了钱）。

实际上真正为Stable Diffusion出力的是慕尼黑大学、海德堡大学，以及Runway。

Stable Diffusion最早发表在CVPR 2022年中的一篇论文

也就是说，Runway是Stable Diffusion的研发者之一。

Runway在去年还因为官宣发布了Stable Diffusion v1.5版本一度被Stability AI抓着不放，但那次的舆论最终还是站在了Runway这边。

这也是Runway在“成名”以前为数不多的“八卦”。