全球首发!昆仑万维重磅推出AI短剧平台SkyReels
创始人
2024-08-20 18:42:18
0

8月19日,昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。

SkyReels能够通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P 60帧的高清视频,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动“一人一剧”时代加速来临。

同时,WorldEngine结合了引擎的精确可控能力(如光照模拟、物理模拟、3D空间、实时交互等) 以及AI视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。

SkyReels的AI剧本生成功能基于昆仑万维自研剧本大模型Sky打造。为了让AI生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集Sky-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;

其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。

Sky剧本大模型技术原理图

短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型StoryboardGen提供底层技术。StoryboardGen是昆仑万维首创的的基于DiT-MoE架构(基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。

输入剧本后,StoryboardGen模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。

昆仑万维StoryboardGen分镜大模型技术原理图

在最终的影像生成环节,WorldEngine是业界首个将AI 3D引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine以图层融合技术为桥梁,打造出前所未有的3D与视频混合创作模式。

用户使用SkyReels生成AI视频时,可以对任意元素自由选择使用3D AI引擎生成或者视频大模型生成,该创新模式突破了当前AI视频大模型时常出现的“穿模”、“反地心引力”等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI视频生成大模型将从“模糊控制”时代走向“精确可控”时代。

在3D AI引擎方面,昆仑万维自研的Sky3DGen大模型能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户还可以轻松构建3D虚拟影棚,实现虚拟拍摄的梦幻体验。

人物表演是短剧画面呈现的核心环节之一。因此,在AI人物表演方面,昆仑万维SkyReels团队专门研发了ActorShow人物生成模型,使得SkyReels所生成的AI人物有着更强的口型表情和肢体动作的可控生成能力,角色呈现更自然。

而针对视频后期合成中遇到的光照差异、风格差异等需求,昆仑万维SkyReels团队单独训练了专门的融合生成模型,使得图层融合后的视频呈现良好的一致性。

昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想成为现实。

来源:投资者网

相关内容

热门资讯

原创 华... 9月20日10时08分,华为首款三折叠屏手机Mate XT非凡大师正式开卖,作为华为史上最贵的智能手...
21道工序,日产达8万个!探访... (央视财经《天下财经》)如今,快速充电功能已经成为不少国产智能手机的标配,为用户使用带来了便利。一个...
在徐汇,上海两大先导产业正加速... 转自:上观新闻 日前,主题为“智汇科技创新领航”的徐汇区“人工智能+生物医药”专场路演活动在模速空...
平高电气成功研制15千伏真空发... 本报讯 (记者肖艳青)记者从平高电气官微获悉,近日,平高电气自主研发的15千伏/6300安-80千安...
湖南盐业集团数智化赋能传统产业... 人民网长沙9月23日电 近日,湖南盐业集团所属九二盐业“智慧工厂”项目一期工程成功上线运行。这家创建...
原创 南... 思韦茨冰川(Thwaites glacier)是一座位于南极洲西部区域的巨型冰川,其面积大约有19....
XR产业链引领 千年古都探索银... 来源:陕西都市快报 当科技与艺术双向奔赴,会产生怎样的火花?西安,正在“精耕细作”与“聚力爆发”中书...
科技昨夜今晨0923:吉利李书... “科技昨夜今晨”时间,大家好,现在是 2024 年 9 月 23 日星期一,今天的重要科技资讯有: ...
除却AI不是云 智算为云服务增... 来源:通信信息报 (图片来源:摄图网) (记者 林婉玲)随着数字经济的蓬勃发展和人工智能技术的广泛...
我国自主研制!超100天,创纪... 9月21日,记者从安徽大学了解到,由该校物质科学与信息技术研究院单磊教授、王绍良研究员团队自主研制的...
一文搞懂马斯克的第一性原理 作为硅谷钢铁侠的原型,马斯克的行为和方法一直都在被世人所学习。其提出的“第一性原理”更是被不少人奉为...
看完张朝阳横渡威海湾,这不只是... 来源:三言科技 搜狐视频播主大会刚刚结束,搜狐董事局主席兼CEO张朝阳为预热此次大会又玩了个大的。 ...
原创 旗... 在高端机市场,每一次迭代都牵动着亿万消费者的心。苹果,作为全球智能手机行业的领头羊,其每一次新品发布...
iOS云手机:好用的iOS模拟... iOS云手机:解放你的手机存储空间 云手机iOS云手机苹果 iOS云手机是一款可以让用户在云端操...
嫦娥六号样品世界首次揭示月背物... 央视网消息(新闻联播):近日,我国科学家发表了嫦娥六号月球样品的首个科学研究成果。这项科学成果利用中...
无人机自动巡检、医疗影像诊断…... 2024世界制造业大会正在安徽合肥举办。近年来,要说最火的新锐科技,人工智能大模型毫无疑问已经成为科...
roblox汉化,如何设置中文 Roblox,这个充满创意与乐趣的在线游戏平台,吸引了全球玩家的目光。然而,对于不熟悉英文的玩家来说...
原创 中... 在当今世界航天领域,中国与美国的竞争与合作一直是全球关注的焦点。近年来,随着中国航天技术的飞速发展,...
荣耀亮出“底牌”,20GB+6... 有钱人的数量并不多,绝大多数人都只是普通人,在选购商品的时候会侧重于物美价廉,这一点也体现在了手机行...
@包头各经营主体,快来领“身份... 包头市市场监管局全面推行“企业码” 助力“一企一照一码”应用的公告 各经营主体: “企业码”是通过电...