梅涛：HiDream.ai视频生成已打破业界4秒瓶颈，能够支持15秒以上

原文来源：机器之心

图片来源：由无界 AI‌生成

文生图的战争尚未结束，视频生成已经开始加速跑了。

Pika 爆火以后，视频生成技术的进步成为大众眼中 AIGC 的一个新焦点。马斯克则直接做出预判称，明年将是 “人工智能电影” 元年。

而比起文生图的生成效果，如今市面上的 AI 视频生成效果，在实际体验中可以说是一言难尽。

在 4-5 秒的时间限制下，实测常见工具对 Prompt 的意图理解水平忽高忽低。输入 “小猫在森林中小提琴”，可能出现猫首人身、一只手是猫爪一只手是人手、有猫没有小提琴、有小提琴但没拉等一系列问题。

在实际应用中，如今的文生视频技术面临着准确性、一致性以及时长限制等诸多问题，距离 “AI movie” 的愿景还很遥远。

机器之心曾在六月份专访过的视觉多模态大模型公司 HiDream.ai 近期告诉我们，在视频生成领域，HiDream.ai 在即将推出的新产品中已经能够做到打破如今 Runway、Pika 普遍面临的 4 秒时长限制，做到支持 15 秒钟左右的生成时长。

HiDream.ai 成立于今年 3 月，由原京东副总裁、前微软研究院资深研究员梅涛院士创立。梅涛是加拿大工程院外籍院士、IEEE/IAPR/CAAI Fellow，是多媒体领域荣获国际最佳论文奖最多的华人学者（15 项），也是科技部科技创新 2030 人工智能重大项目首席科学家。

梅涛告诉机器之心，HiDream.ai 团队在文生视频上创新了一套自己的思路：不直接从文本向视频转换，而是从文本先向图片转换，生成关键帧，再由此在时间维度上前后进行拓展。

“这种方法不仅能够提高视频生成的稳定性、细节处理和美感，还为视频生成的时长拓展提供了可能性—— 从一个简短的 prompt 出发，通过大语言模型自动生成分镜头的脚本（script）。然后针对每一个镜头脚本，通过 “文生图” 的方式生成一幅图（关键帧），将这些关键帧通过 “图生视频” 的方式转换为单一镜头的视频，最终将这些视频拼接成一个完整的视频，形成 15 秒甚至更长时间的多镜头视频。”

视频生成的时长性限制在商业化应用上是重要的掣肘。在 15 秒的生成长度下，基本可以覆盖常见短视频的生成需要，而 4 秒则很为难。

HiDream.ai 在文生视频上的新解法主要基于他们自身的基因。成立之初，HiDream.ai 在文生图上投入了大量资源，打造了自研的智象多模态基础模型。

在半年前机器之心对梅涛的专访中，他曾立下 “将在今年年底前，在基础模型上超越 Stable Diffusion 最新版本，而在产品上则要赶超 Midjourney” 这样的目标。时隔半年，梅涛告诉机器之心，这个目标已在今年十一月被提前完成。

半年的时间里，HiDream.ai 基于其底层视觉大模型推出了图片生成平台 “Pixeling 千象” 以及面向电商平台 AIGC 工具 “PixMaker”，两个工具在商业化上都实现了一定进展。

资金方面，除了收获到第一轮由科大校友组成的资方支持，HiDream.ai 在过去半年还获得了来自科大讯飞创投基金以及阿尔法公社的支持，两轮融资共筹集近 1 亿人民币。梅涛透露，如今第三轮融资也正在开启，新一轮融资预计会在 2024 年 Q1 完成。

打破业界 4 秒瓶颈，已能够支持 15 秒视频生成

机器之心：最近 Pika 特别火，从你们的角度看，它火的原因可能是什么，为什么引起这么多关注？

梅涛：我们通常不评论任何公司。但从整个行业的角度来看，半年前我们提出要做多模态视频生成，那时没有人相信能做出来。但现在，大家已经看到了一些初步成果。

其实无论是像 Runway 还是 Pika，虽然产品功能上还比较初级，这些公司都逐渐获得了关注，这是一个好现象，说明大家都意识到了视频生成的巨大市场潜力。

机器之心：半年过去了，文生视频整个赛道的技术进展可能处于什么阶段？

梅涛：以图片生成为例，如果我们说 GPT 有 1.0、2.0、3.0 到 4.0 的话，图片生成应该处于 2.0 阶段。我们现在做的最大模型是 100 亿，基本上跟 GPT 2.0 差不多，我们可能正在向 3.0 方向发展。但视频生成方面可能还处于更早期的 1.0 阶段。