这个清华大佬整的活,让李白穿上了背带裤。
创始人
2024-11-15 11:01:12
0

粉色连衣裙、黑色大波浪的美女,惊恐转身后,露出了一神似张宋小宝的娇俏面庞。

微张的嘴唇,欲语还休。

美国的三好青年马斯克,身着东北大花袄,站在微风阵阵的白宫前边。

小手一揣,略带局促地露出一抹拘谨、正派的微笑。

而另一边,魔卡少女小樱也正拉着隔壁的蕾姆,在三里屯商场里逛街。

当然了,世超知道见识过各种 P 图软件和 AI 技术的你。估计看到这些效果,也是轻轻一笑说:

早半年前,哥就见过这种效果了。

哥不仅能让马斯克换装,就是让他跳段舞,也是手拿把掐了。

但且慢,上面 这些视频的生成方法,可能跟你以前见过的都不一样。

这个用的是生数科技联合清华团队推出的视频模型 Vidu 1.5 ,这个模型有一个新的能力: 多主体一致性。

用大白话来说,就是 我们可以上传多张图片来生成视频。并且保证这些复杂的元素不会变形。

比如上传角色、物体和地点的图,它可以用你指定的这些元素,做出一条视频来。

这样我们在生成的时候,就可以自己设定人物、物体还有场景。

像马斯克这条视频,就是用了一张马斯克的大头照,一件花袄,还有一张白宫的图片,生成出来的。

丢一句简单的提示词, Vidu 就可以复刻出一条以假乱真的视频。让马斯克,穿上你给的大花袄,在白宫前秀一段。

这么整的好处显而易见, 我们可以手动控制AI 生成的素材,让视频更合我们心意。

以前我们只能扔一句话,或者扔一张照片,让 AI 自由发挥。最后结果很容易就脱离我们的预期。

比如你直接说让马斯克穿着大花袄,它就会真的在马褂上,画几朵大花。

如果 AI 的词库里,就没有大花袄这个东西。不论我们怎么调整提示词,最后都没法生成出来。

可现在,你不用使劲憋提示词了,只需要闭眼甩一张图。

之前还没有视频模型可以做到这样,很多时候能把一张上传的图片处理明白,就已经相当得劲了。

所以, Vidu 这个模型一发布。外网的各种网友们,立马就惊呼,然后开机上手了。

大家也可以直接打开 Vidu 的官方,上手试试看。不过,现在只有三次的免费机会,后面每次试用就会需要消耗 4 个积分。

为了给大家整个明白,世超试用了一天。大伙可以往下滑,看看我的效果,再决定要不要玩。

按照编辑部的约定俗成,咱们的吉祥物一般都是我第一个试的。

这回,我整了两张火锅戴头盔的照片,又上传了一张抹茶绿的雅迪电动车。

输入提示词: 金毛犬在骑雅迪电动车。

大概几十秒之后,带着黑色防风镜的火锅,就这么丝滑地骑上了小电驴。

连胸前蓝色的挂饰,还有雅迪的橙色车标,都完整的保留了下来。这个一致性效果还是挺惊艳的。

还贴心地加上了吐舌头和摇尾巴的小细节。

虽然火锅这个滑滑板一样的骑车动作,是肯定没法上路的。

不过,因为狗本来就不会骑电驴,咱们也不能强求。后面,世超换了张乔布斯的大头照,这个效果就很可以了。

而且,我还特地上了点难度。让乔布斯也和马斯克一样,穿上了咱们特色服饰军大衣。

硬朗五官配上笔挺大衣,效果还是非常板正的。

乔布斯应该也没想到,自己有一天会坐上雅迪的橘色雅座吧。

虽然只有正脸照,但是镜头转到侧方的时候,人物的特征 ( 比如小秃头 )还是还原得挺精准。

不过,上面这些都还是单一的人物主体,外加一个场景或者物品。抓取起来还是比较简单。

一般来说,我们加入的主体越多,大模型就可能抓取错误。

于是我试了一下上传一张唐伯虎点秋香里经典图,然后要求把 脸部替换成我给的另一张图。

它从一堆人的背影里,精准地找到秋香。让她把脸缓缓转过来, 微微露出侧脸。

虽然没有全脸示人,但眉眼就足够一眼丁真。

后面,我又加上了难度。

不仅要替换服装,还要加上动作。让语文课本上的李白和蔡徐坤来个对换: 李白穿着背带裤在打篮球。

这次, Vidu 给的效果就相当抽象了。

它直接给坤换了个画风,整出了一个动画版。虽说保留的格子裤花纹小细节,足以体现用心。

但这个李白 260 °水调大转头,画面实在过于诡异了。也没有完成我输入的【 打篮球 】的指令。

在后面测试中,世超发现 Vidu 虽然能抠主体。但是,如果动作比较大,或者画面变化比较多,就容易出现上面突然转头的小 bug 。

比如,让它把胖虎的玩具人偶放在冰雪女王的手上。

它确实能处理多个主体,让塑胶胖虎凭空变出来,而且,冰雪女王的动作和场景连贯性,基本可以以假乱真。

但是,换进去的胖虎的动作,就明显有点小崩。在五秒里,连续抽搐变形了数次。

在一下午的测试里, Vidu 的生成效果总是时好时坏。

世超一直在上一秒惊艳,下一秒惊吓的反复中来来回回。

比如让雷军坐到问界的车里挥手。雷军就这么水灵灵地掉到了车外面,而且,脸也早已经崩坏了。

但是,同时它又能完美地让乐高国王,在城堡上举起长剑,激昂演讲。保持场景和人物,都连贯一致。

崩多了之后,我甚至摸出了一些门道。如果你看完文章后,打算去试试,那么在给主体照片的时候, 最好找背景比较干净的图片。

主体越好抠出来,生成的准确率就越高。

同时,给一个主体上传多个角度的照片,也能让他动起来更自然。因为模型可以构建出一个更完整的人物。

虽然根据 Vidu 官方的说法,他们这次放弃了业界主流的 LoRA 微调的方法。因为那种方法,很容易出现过拟合, 就是在理解主体的过程中,会遗忘大量原先的知识。

所以,主体的动作和肢体很容易崩坏,难以控制。画面里东西越多,变化越多,就越容易失控。

而 Vidu 的新模型是用类似于大语言模型的技术,把所有输入都处理成视觉数据,并和大语言模型一样能 “ 上下文记忆 ” 地处理这些输入数据。

这确实让 Vidu 在多主体的处理上,迈出了一大步。

但与此同时,经过简单测试后,世超觉得 Vidu 的这个技术还有很长一段路需要走。

其实, Vidu 暴露的问题跟早期的文成视频很像。就是意思都到了,但是细节还不够,效果不稳定,时不时抽一下风。

像这个电动车和公路场景,再怎么切换镜头都没有变形。就是运动的时候,人物出现了影分身。

指定图片:初音未来、雅迪电动车和公路

如果你想用它完全替代视频工作者的工作,世超觉得还是得等等。

但 Vidu 肯定是值得上手玩玩看的。

毕竟谁不想让喜欢的角色穿上我们挑选的衣服,不想让心意的 IP 角色或者明星,跨界同框一下呢。

撰文:star

编辑:江江 & 面线

美编:焕妍

图片、资料来源

X、vidu

相关内容

热门资讯

株洲太空星际SAR卫星首次成功... 在轨成像。 红网时刻新闻11月14日讯(记者 李慧芳)2024年11月14日12时22分,株洲太空星...
新范式 | iRAG让百度终于... 百度的最新技术iRAG,就像是给AI开了挂,让图片生成不再是“睁眼说瞎话”。这篇文章带你一探究竟,看...
“空天盛宴”汇聚全球目光 11月12日,第十五届中国国际航空航天博览会在广东省珠海市开幕,吸引了47个国家和地区的1022家企...
跳舞、原地掉头、圆规掉头,小米... 小米汽车 11 月 14 日公布了智能底盘预研技术,包括四项内容: 小米全主动悬架 小米超级四电机系...
天津最大奥迪4S店永濠爆雷闭店... DoNews11月14日消息,近日,天津最大的奥迪4S店“天津永濠奥达”闭店跑路一事引发热议。有多位...
我国专家回应6G到底离我们有多... 快科技11月15日消息,我国5G网络已经覆盖了绝大多数地区,从两年前就开始专家和组织不断提到6G,但...
高燃回顾!与霍尼韦尔一起「7」... 第七届中国国际进口博览会落下帷幕,霍尼韦尔聚焦自动化、未来航空和能源转型三大发展趋势,全方位展示公司...
这个清华大佬整的活,让李白穿上... 粉色连衣裙、黑色大波浪的美女,惊恐转身后,露出了一神似张宋小宝的娇俏面庞。 微张的嘴唇,欲语还休。 ...
四川九洲线缆申请同轴电缆制作工... 金融界2024年11月15日消息,国家知识产权局信息显示,四川九洲线缆有限责任公司申请一项名为“一种...
欧盟宣布对Meta公司处以7.... 当地时间14日,欧盟宣布对美国脸书母公司Meta处以7.97亿欧元罚款,理由是Meta公司滥用职权,...
看贵阳如何抓好城市治理、提高城... 贵阳网·甲秀新闻讯 在当今数字化背景下,数智赋能正以前所未有的力量重塑着各个领域,综合行政执法领域也...
原创 从... 荣耀100 Pro的出现,真的可以说是小米的“好邻居”变成了“强劲对手”——以前2000元左右价位都...
我国已完成八条全球主要海沟深渊... 记者从11月14日召开的第二届全球海斗深渊生物地质环境国际会议上获悉,我国科学家目前已完成八条全球主...
全国首条跨江商贸低空无人机航线... IT之家 11 月 15 日消息,据湖北日报报道,11 月 13 日 11 时整,一台方舟 40 顺...
中国移动:5G-A无源物联网应... 《5G-A无源物联网应用案例白皮书2024》主要介绍了5G-A无源物联网的相关内容,包括概述、典型应...
打造长三角科技成果转化最便利区... “嘉定科创核”规划发布:集聚5家国家级科研院所230家高新技术企业 打造长三角科技成果转化最便利区域...
李彦宏:大模型已基本解决幻觉问... “过去24个月,AI行业的最大变化是什么?是大模型基本消除了幻觉。”11月12日,百度创始人李彦宏在...
发布三大成果!2024人工智能... 封面新闻记者 马梦飞 11月12日,2024人工智能产业CEO大会暨人工智能赋能新型工业化供需对接活...
载货量↑200多升并非最大亮点... 13日转运到发射区的天舟八号货运飞船与长征七号遥九运载火箭组合体,计划于近日择机实施发射。尽管距离发...
6G进展如何?离我们还有多远?... 本文转自【央视新闻客户端】; 6G通信技术的发展是当今全球瞩目的焦点之一。我国的6G技术进展到什么...