任何人都可以克隆任何人的声音,并以几乎任何语言说话!AI“深度造假”能力
华尔街见闻
2023-10-17 17:08:16
0

原标题:任何人都可以克隆任何人的声音,并以几乎任何语言说话!AI“深度造假”能力

作者:卜淑情

编辑:硬AI

AI的造假能力强到什么程度?

近日,美国前总统特朗普及奥巴马、俄罗斯总统普京及前总统叶利钦、特斯拉首席执行官马斯克以及C罗的AI合成视频在X(前身为Twitter)和Reddit等社交平台上被观看了数千次。

在马斯克的视频中,“他”用法语接受了媒体采访,阐述他对于AI威胁的看法。

不仅音色、语气以假乱真,就连对口型也几乎毫无破绽。

这就是最近爆火的“深度造假”(Deepfake)技术,不仅可以克隆声音,精通几乎所有语言,而且还可以匹配口型。

专门从事“深度造假”的DeepMedia创始人Rijul Gupta表示:

我们基本上已经达到了这样的程度:任何人都可以克隆任何人的声音,并通过5秒的音频素材,使其以几乎任何语言说话。

目前,市面上已经出现几款通过“深度造假”技术进行视频语音翻译和口型同步的应用程序。

LipDub:风投心头好

LipDub是一款视频语音翻译+口型同步的移动APP,用户能在几分钟内“用外语交流”,早些时候在App Store上线。

LipDub的核心技术是AI,它能够准确识别视频中的语音,使用GPT-4将其翻译成其他语言,并使用“ zero-shot model(零样本模型)”算法,将翻译后的语音与视频人物的口型进行匹配。

使用过程简单粗暴:上传一段视频、选择目标语言、获得带有新语音和口型同步的翻译视频。整个过程仅需要几分钟的时间。

LipDub目前支持28种语言,包括韩语、西班牙语、捷克语、泰米尔语和乌克兰语。

LipDub由初创公司Captions出品。该公司成立于2021年,由Snap前设计工程主管Gaurav Misra和Dwight Churchill联合创立,目标是生成式AI翻译工具市场。

Captions早期获得了红杉资本、Andreessen Horowitz等知名风投的投资,并得到了Instagram联合创始人Kevin Systrom和Mike Krieger以及Facebook前产品设计副总裁Julie Zhuo的支持。

截至目前,Captions拥有10万日活用户,Misra预计LipDub也能吸引同样多的用户。

据悉,LipDub下一阶段的目标是更流畅的翻译和逼真自然的口型同步。

Misra说:

下一步是让视频看起来更加自然——真正做出一段视频,你根本感觉不到里面有配音或处理,非常自然和易懂。

这种技术过去我们只在《星际迷航》这类作品里看到,对吧?简直是硬核科幻啊。

这样的前景使Captions在今年6月份获得了2500万美元的B轮融资,由硅谷传奇投资公司凯鹏华盈(Kleiner Perkins)领投。

值得注意的是,LipDub所代表的视频AI翻译技术,也引发了业界对“深度造假”的担忧,存在被滥用于虚假新闻及其他不正当用途的风险。

当前,LipDub作为视频AI翻译的头部玩家,处于快速迭代阶段,其核心技术还有很大改进空间。同类竞品也在蜂拥而至,竞争激烈。

HeyGen:致力于消除语言障碍

HeyGen,AI口型同步和短视频内容翻译领域的另一个大玩家,该公司在9月7日推出视频翻译功能后在X上迅速走红,目前拥有数百万用户。

有用户曾使用HeyGen制作了马斯克、梅西和扎克伯格用多种外语讲话的片段。

HeyGen联合创始人兼首席执行官Joshua Xu表示,其目标是“消除语言障碍”。

我们设想未来用不同语言制作视频内容和传播信息将变得像打字一样简单。

HeyGen看中了全球视频翻译的巨大市场。Xu曾在X上发表一个AI生成视频中说:

想想看,消除语言障碍使内容对全球用户可用,而不仅仅10%的英语使用者。

他还表示,像Coursera、Khan Academy 和MasterClass等教育平台可以通过“多语言化”来扩大其影响力。

HeyGen目前支持10种输入语言和8种输出语言,包括英语、西班牙语、中文、意大利语、印地语和日语等。

HeyGen前身是一个名叫Movio的AI视频翻译平台。该平台基于内容生成引擎Surreal Engine,于2022年7月推出,仅7个月内就获得了100万美元的年经常性收入。

Xu与前字节跳动和美国社交媒体音乐公司Smule工程师 Wayne Liang于2020年创立了Surreal。

Surreal专注制作逼真的“深度造假“视频,主要面向电商广告客户。Surreal在深圳启动运营4个月后,便完成了100万美元天使融资。

去年4月,Xu将Movio更名为HeyGen。自 2020 年以来,HeyGen和Surreal已从红杉资本、IDG 资本、真格基金和百度风投获得至少900万美元的资金。

时至今日,Surreal在中国仍然活跃,但HeyGen主要在美国洛杉矶运营。

Verbalate:支持30分钟视频处理

视线转向澳洲,还有一个不可忽视的AI视频翻译平台——Verbalate。

它和LipDub 和HeyGen一样,将用户的视频配音成目标语言,不同之处在于,Verbalate可处理长达30分钟的视频。

Verbalate创始人Grant Davies,成立该平台最初的想法是出于疫情期间澳大利亚封锁期间的无聊。

2022年,Davies在骑车时听Joe Rogan的播客,知道YouTuber用户MrBeast使用配音演员翻译视频。当时Davies正在研究AI,觉得可以用AI做自动翻译。

据悉,Verbalate的基础订阅月费为9美元,可以制作一个10分钟视频,相比之下,竞争对手HeyGen的月费为29美元,可制作多个5分钟视频。

LipDub AI:瞄准影视配音

有些平台则瞄准了于更大的市场和更长的视频运行时间。

加拿大公司MARZ的LipDub AI平台(不要与Captions 的LipDub混淆)面向电影电视行业,提供高质量的配音翻译视频。

目前LipDub AI处理一分钟包含多个镜头的视频片段所需的运行时间不到20分钟。

该公司目前依赖训练素材(例如视频片段)来制作这些配音,但它预计将在一年内加快这一过程,仅依靠音频和原始片段制作配音。

LipDub AI平台的视频处理速度正在提升,预计可以仅依靠音频就生成配音视频。

与其他口型配音平台不同,LipDub AI没有采用外部大型语言模型,而是使用自己的生成模型,该模型通过录音进行训练。

MARZ市场总监Tim Reyes认为,口型匹配技术将帮助制片人扩大电影或电视节目的影响力,同时又不会危及演员的工作保障。

Reyes表示: LipDub AI 实际上为新市场开辟了一大堆机会,这不像其他一些人工智能技术,他们破坏了电影业目前的工作流程。

相关内容

热门资讯

重大发现牛牛房卡哪里有最低价,... Y9Z能够打败“阉割版”A15芯片的只有“满血版”A15,所以如果你在意性能,那么iPhone13绝...
一分钟揭秘金花房卡批发,牛牛卖... ZwJ比如说iPhone 14Pro版的两款机型将采用全新的ID设计,即网友所说的“感叹号”打孔,屏...
重大来袭牛牛房卡哪里有卖的,牛... MV0bM在血雨腥风的手机市场,一款产品要想存活下来,就一定要有差异化的产品设计。摩托罗拉手机是一个...
一分钟揭秘金花房卡在哪买,房卡... 3JpVzz此次华为旗舰新品发布会不仅有三款华为P60系列旗舰,而且还有华为折叠屏新机华为Mate ...
推荐一款牛牛房间卡购买,微信小... ExfLggM尽管iPhone14大概率会在今年9月某一天发布,但配置相对iPhone13而言,可以...
推荐一款金花房卡怎么使用,正版... EeViZtiPhone 14 Pro最新渲染图,由平面设计师Ian Zelbo制作,基于早些时候业...
实测分享正规房卡链接在哪购买,... OhrD0e随着智能手机的发展,国产手机取得的进步是大家都有目共睹的,同时品质和体验的不断提升,使得...
玩家实测牛牛科技房卡多少钱一张... Y5xZ17mJ苹果手机虽然备受消费者的欢迎,同时也搭载的是自研的iOS系统,但是在很多方面,苹果也...
重庆贝安取得机架减震垫二次加工... 金融界2025年3月15日消息,国家知识产权局信息显示,重庆贝安橡塑制品有限公司取得一项名为“一种机...
快讯!美国“龙”飞船发射升空,... 当地时间3月14日,美国国家航空航天局(NASA)与美国太空探索技术公司(SpaceX)于美国东部时...
手机云端游戏平台:便宜好用且性... 随着移动互联网技术的迭代,云端游戏平台正逐步打破传统设备的性能桎梏。在众多解决方案中,**「星星云手...
国匠领航·全球首秀!东软医疗超... 在“山城”重庆国际博览中心聚光灯下,一场关乎中国医疗装备产业未来的创新盛宴拉开帷幕。作为央企通用技术...
科技通报牛牛房卡专卖店,超级三... YWbjjd3最近,外网就将苹果公司为用户准备的惊喜曝光了,那就是iPhone 14Pro的全新配色...
重大通报牛牛房卡卖家联系方式,... hDyg7NBiPhone13配备6.1英寸超视网膜XDR显示屏,虽说屏幕没有高刷新率,但60Hz对...
重大来袭大厅房卡哪里有卖,微信... GlnRx不仅影像能力再度突破,还都适配了鸿蒙OS3.1,甚至原本单向的北斗卫星消息如今也升级为了双...
科技通报牛牛房卡链接怎么买,牛... blj5Vp此次华为旗舰新品发布会不仅有三款华为P60系列旗舰,而且还有华为折叠屏新机华为Mate ...
重大发现金花房卡平台购买联系方... g第一则是坏消息,有爆料信息称会iPhone14系列会搭载A16处理器,但这款处理器的工艺依旧是5n...
推荐一款牛牛金花房卡怎么充值,... 5tY7md富有且慷慨!上述曝光的这款摩托罗拉X50mini,零下巴直面屏的全面屏的设计带来了令人惊...
实测分享斗牛房卡购买联系电话,... EHR8GS7因此在高通骁龙7+ Gen2的加持下,该机的核心性能将会非常的极致。并且该机配备了41...
一分钟揭秘牛牛房卡找谁买,15... OUmB6Jv8两颗镜头的实际拍照素质也很强悍,不输安卓3000-4000档机型,打个有来有回还是可...