语种随意换 口型无破绽
▲AI视频工具可让数字人随意使用多种语言。CFP供图
深圳商报记者 涂竞玉
近日，欧美顶流歌手泰勒·斯威夫特操着一口流利中文的视频在各大社交平台上广泛传播。不止如此，说中文的埃玛·沃森，以及说着英语的蔡明的视频也频频“出圈”。
据了解，这些视频都使用了AI视频工具HeyGen。创作者只需要上传视频并选择要翻译的语言，该工具可实现自动翻译、调整音色、匹配嘴型。令人称赞的是，这个火到国外的“神器”是国内诞生的产品，背后公司是来自深圳的AI公司诗云科技。
为视频创作者打造的工具
网友称HeyGen为“没有译制片腔调的翻译”，表示真人配音都达不到这样的效果，甚至比真人配音还要省事得多。据悉，诗云科技成立于2020年11月，主营AIGC，从官网看，其产品除了视频翻译，也有数字头像生成、AI脚本生成等服务。想获得一个翻译过的真人视频，只需上传原视频，再选择要翻译的语言就能轻松完成。
HeyGen是为视频创作者打造的工具，翻译功能并非其全部。围绕视频创作，HeyGen的功能十分强大，包括主播换脸、文字转口播视频、创建虚拟主播、语音克隆等。
数字人创建是其主推的功能。据HeyGen介绍，即使没有摄像机、摄影棚和演员，普通人也可以通过该工具制作视频。用户只需上传一段2分钟的小视频，就能制作一个和真人一样的数字人，即使是像手势、面容和口型这种“细微肢体语言”也能调整。
记者了解到，现在市场上的AI视频应用比较多，比如抖音旗下的剪映，目前也有AI能力，具体是把脚本输入到里面，能生成视频。另外，百度也有AI应用，把脚本输入到对话框里就可以生成视频。
作为该赛道的佼佼者，天眼查数据显示，诗云科技已完成两轮融资，获得了来自IDG、红杉中国、真格基金累计近千万元的投资。
AI视频领域应用成关注焦点
目前，短视频已得到大众广泛关注，而愈加火热的AI在视频领域的应用，也成为关注的焦点。
以快手为例，今年下半年以来，快手加快AIGC的布局。8月，快手宣布内测自研大语言模型“快意”（KwaiYii），打造“全模态大模型AIGC解决方案”。基于自研的基座大模型，为用户提供包括文本生成、图像生成、3D素材生成、音频生成、视频生成等在内的多种技术能力。其中，KwaiYii-13B在多个Benchmark上都处于领先水平，证明了其在自然语言处理任务中的出色性能。
据了解，对于文生视频应用，用户主要关注视频生成质量、是否可定制化生成特定内容（如特定风格、可对生成内容调整细节）、使用简易程度等。尽管当前已有可公测的应用，但由于生成结果粗糙等问题，文生视频并未在实际的媒体内容生成、创意制作领域得到广泛应用。
相关专家表示，生成式AI的进步，极大简化了视频制作的流程，在已经到来的智能时代，受众已经不想再看到那些批量的、流水线式的“低劣”视频。要想摘掉“低劣”的标签，真正让作品具有感情和灵魂，除了“降本”之外，在个性化、拟真度、素材丰富性方面，国产视频AI还有很长的路要走。