深圳商报·读创客户端首席记者 吴吉
社交媒体头像可以瞬间切换风格?主页背景、相册封面可以秒变画风?近日,深圳大学计算机与软件学院可视计算研究中心黄惠教授团队的最新研究成果“视觉特征迁移算法”被计算机视觉顶会CVPR 2025接收。该算法能让图像风格化,无论是诺贝尔奖头像风格、毕加索的抽象线条,还是各种天马行空的抽象画风,统统不在话下!
视觉特征迁移,指的是将一幅图像(称为“参考图像”)中独特的视觉特征,如色彩、纹理、笔触、甚至更高层次的艺术风格或材质感,迁移到另一幅图像(称为“目标图像”)上,从而生成一幅既保留了内容图像的结构和语义信息,又融合了风格图像视觉特性的新图像。该问题一直是计算机视觉和图形学领域一个重要且颇具挑战性的话题,是AIGC的重要任务之一,广泛应用于艺术创作、图像编辑、虚拟现实等领域,具有重要的研究意义和应用价值。
深圳大学团队的成果由计算机与软件学院可视计算研究中心黄惠教授领衔,副教授周漾带领的硕士研究生高旭、陈子冲开发。团队提出了一种通用且高效的视觉特征迁移方法,适用于多种基于样例的图像合成应用,如艺术风格迁移、外观迁移、风格化文本到图像生成以及各种纹理合成任务。
与以往使用自注意力特征作为即插即用属性的方法不同,该方法充分利用预训练扩散模型的强大语义先验以及注意力机制,设计了一种新的注意力蒸馏损失。该损失通过构建“理想”风格化目标并计算与当前风格化结果之间的差异,在潜空间中反向传播优化生成图像的隐变量,克服了基于特征注入方法存在的域差距、架构限制和误差累积等局限性。来自扩散模型的紧密语义对应关系确保了高保真的局部纹理细节还原,而基于注意力的全局关系建模则带来了整体视觉分布的一致性。
此外,论文还提出了一种改进的分类器引导,将注意力蒸馏损失整合到去噪采样过程中,进一步加速了合成过程,并实现了更广泛的图像生成应用,包括风格化文生图以及与ControlNet、MultiDiffusion的联合使用。大量的实验和与最先进方法的比较表明该方法在基于样例的风格、外观和纹理等视觉特征迁移任务中有着非凡性能。