Meta介绍AI图像编辑工具Emu Edit/Video
DoNews11月20日消息，Meta 19 日宣布为 Facebook 和 Instagram 推出两款基于 AI 的图像编辑工具，分别是“Emu Edit”和“Emu Video”，适用领域包括照片和视频，目前 Meta 公布了这两项 AI 工具的更多信息。
官方介绍称，Emu Edit 模型仅用文字指令就可以准确编辑图像，而通过分解文字转视频（Text-to-Video，T2V）的生成过程，开发团队公布了一种名为 Emu Video 的方法，可以改善最终生成视频的品质和多样性。
据悉，Emu Edit 号称是一种创新的影像编辑方法，目的是要简化各种影音操作任务，为视频编辑提供更多功能与更高的精确度。Emu Edit 可以接受用户指令，进行各种形式的编辑，包括区域和全局编辑、移除和添加背景，也能够调整颜色并进行矢量图转换，或进行图像构成元素的检测和分割。
Meta 表示，Emu Edit 把视觉任务作为指令，纳入到所生成模型中，进而在视频生成和编辑中，提供更好的控制能力。研究人员指出，当前的图像编辑模型，通常会过度修改图像，或是修改不足，而 Emu Edit 的优势在于能够准确按照指令进行编辑。
Meta 使用了 1000 万个合成数据集训练 Emu Edit，号称是目前同类中规模最大的数据集，从而带来了更好的图像编辑能力，其中每个样本都包含图像输入、任务描述，以及目标输出图像。可使模型忠实地执行指令，产生“比当前所有竞品都要好的结果”。
而 Emu Video 是一种简单且高效的文字转视频生成方法，该方法运用扩散模型，并以 Emu Edit 为基础。开发团队解释，这种通过生成视频的架构能够应对外界各种输入方式，包括文字、图像、图文组合等，此外 Emu Video 也能接受文字类提示词，将用户提供的图像“动画化”，从而提供了“超越过去模型的能力”。
Emu Video 将影片生成过程拆分为两个步骤，首先是根据文字提示生成图像，然后基于文字和生成图像产生视频。这种拆分步骤的影片生成方法，让研究人员可以有效地训练生成模型。
研究人员进一步解释，Emu Video 与过去 Make-A-Video 等需要一系列深度生成模型的研究不同，Emu Video 更简单，仅使用 2 个扩散模型，就能生成 512x512 分辨率、每秒 16FPS、长 4 秒钟的视频。
Meta 援引评估数据，证明 Emu Video 生成的视频品质以及“遵循提示词的忠实程度”相对业内竞品更好。在品质方面，有 96％受访者偏好 Emu Video 而非此前的 Make-A-Video 方案，而对于“提示词的忠实度”方面，Emu Video 获得了 85％受访者的青睐。