除了深度换脸、模拟配音，还能口型匹配的AI软件出现了

原文来源：GenAI新世界

图片来源：由无界 AI生成

据海外媒体报道，上周一款名为LipDub 的翻译软件正式发布，这款AI程序可以让视频创作者在几分钟内使用不同语言进行交流。

LipDub由初创公司Captions开发，这家公司成立于2021年，由Gaurav Misra和  Dwight Churchill联合成立。Captions目前已经获得了红杉资本、安德森-霍洛维茨、Instagram联合创始人Kevin Systrom和Mike Krieger以及Facebook前产品设计副总裁Julie Zhuo的投资支持。

创始人Gaurav Misra来自印度新德里，曾是Snap的设计工程主管。Misra表示，他的成长环境中充满了印地语、英语、旁遮普语和乌尔都语等各种不同的语言。而Gaurav Misra还花了数年时间学习法语，这帮助他在欧洲、非洲和中东建立了专业的关系网。

Misra相信，AI驱动的翻译和口型匹配技术可以帮助人们更轻松地联系和理解他人。

Captions：利用 AI 轻松实现视频翻译本地化

Captions以制作AI生成的字幕、语音纠正以及在后期制作中纠正视频创作者眼球位置的技术而闻名。Misra 和 Churchill 曾在高盛集团担任产品开发人员，他们早就想在配音翻译中加入口型匹配功能，但没想到会这么快实现。Misra说：“我们最初认为这项技术需要10年时间才能够实现，但现在的技术发展实在太快了，几乎每月甚至每周都有新东西出现。”

LipDub正在进入一个很有前景的AI翻译市场。它的竞争对手包括语音克隆翻译应用 HeyGen 和Verbalate，以及Spotify和视觉特效工作室Monsters Aliens Robots Zombies等公司推出的新工具。

过去，许多企业需要聘请多个视频主持人用不同的语言表达同一个故事，而现在，他们可以通过生成式AI来实现同样的功能。这些应用程序允许用户上传视频，然后在几分钟内将其转换成流利的土耳其语、法语、阿拉伯语或意大利语。

DeepMedia公司的创始人Rijul Gupta表示：“我们基本上已经完美地实现了这项新技术，任何人都可以克隆任何人的声音，并通过5秒钟的音频参考，让它用不同的语言说话。”

在 X 和Reddit等网站上，一些知名人士的配音视频已经出现了数千次。Spotify 上个月也加入了这一行列，他们宣布将提供人工智能翻译的播客，让这些播客保持原本音色和语调的同时转换为不同的语言。

目前，演员Dax Shepard和Kristen Bell、麻省理工学院研究员Lex Fridman和Steven Bartlett等人都有了西班牙语播客，法语和德语翻译也将很快推出。新的 Spotify 工具利用了OpenAI最新发布的语音生成技术，可提供更真实的听觉体验。

去年年初，Misra和 Captions 的团队开始尝试口型匹配技术，并与合作伙伴测试该技术在Captions应用程序中的效果。

Misra坦言，口型匹配技术发展速度比他预期的要快。“这看起来就像是自然地进入下一阶段，创造出一种不像是配音或者人工调整的视频。新的技术让视频看起来非常自然且易于理解。”从测试开始，一种新的可能性便已展示在他们面前。Misra表示：“就像我们以前在《星际迷航》中看到的那些科技一样，这简直就是科幻！”

Captions今年6月获得了来自Kleiner Perkins 领投的 2500 万美元的B轮融资。目前Captions 的日活跃用户已达10万，Misra认为LipDub推出后该公司将会拥有更多的活跃用户。

目前LipDub 支持28种语言，包括韩语、西班牙语、捷克语、泰米尔语和乌克兰语，它采用零镜头模式，可以在Captions的视频生成模型在没见过主题的情况下推出流畅的视频。

LipDubs的内部机器学习算法经过训练，可以识别讲话人的唇部动作，公司还使用 OpenAI 的GPT-4模型，在应用中将视频翻译成不同的语言和方言。这种 AI 配音技术已在Captions应用程序中使用，并于今年3月发布，吸引了来自世界各地的用户。

Misra说：“原本无法接触到特定受众的人现在可以做到了。这项技术是乌托邦式未来的完美范例，所以我对此感到非常兴奋。”