vivo BlueImage Lab 投稿

量子位 | 公众号 QbitAI

不知道你有没有经历过这种“破防时刻”：

蹲点拍摄飞鸟萌兽，同场摄友拍出主体干净通透、背景柔和朦胧的治愈大片；

而你长焦拉近画面，细节勉强能看清，背后杂乱枝叶、凌乱背景全部糊成脏影、层层抢镜，辛苦蹲守半天，主打一个“白跑一趟”。

明明拍的是同一场景，区别仅仅在于，他的长焦设备自带高级景深虚化，而普通手机长焦，画面模糊脏乱。

是不是太痛了？（sorry~）

不过先别急着遗憾。

以后，MagicBokeh可以拍拍你的肩膀告诉你：

有了它，哪怕只用一部手机长焦远摄，也能精准抠净主体、丝滑剥离繁杂背景，复刻单反级自然虚化，拍出层次满分、质感高级的生态大片，和构图杂乱、虚化拉垮轻松说拜拜！

近日，vivo蓝图实验室与中国科学院深圳先进技术研究院合作完成了一篇名为Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework的论文。

在这篇论文中，作者详细介绍了一个专门针对长焦虚化场景设计的生成式摄影大模型MagicBokeh。

该模型宛如用户手机中的一位长焦全能大师，它不仅能够将镜头聚焦部分打磨清晰，还能把背景自然而然地虚化掉，凸显层次感。

此外，MagicBokeh打破了传统两阶段链路设计思路，能够在一次推理中完成高倍长焦虚化，并且，其采用了面向端侧部署的轻量化设计，为真实移动设备上的部署提供了可能。

目前，该论文已被CVPR 2026接收，并入围Best Paper Finalist。

△MagicBokeh 入围Best Paper Finalist手机长焦虚化，为什么这么难？

如果你用手机长焦镜头拍过人像，多半会碰到一个问题：

主体虽然被拉近了，但背景虚化并不自然，甚至几乎没有明显虚化。

对比单反或专业相机依靠大光圈+长焦镜头拍出来的柔和散景，手机长焦的空间层次感常常显得不够充分。

这种不充分的背后，折射的是手机长焦硬件层面的物理局限。

即手机的影像系统必须被收纳在轻薄的机身里，所以其镜头模组长度、传感器尺寸、光圈大小都受到了严格的约束。

这就导致手机影像系统不可避免地出现光圈不够大、传感器不够用，天然景深效果很难做出来的问题。

即便手机搭载了潜望式长焦镜头，也很难在真实的光学条件上比肩专业相机。

于是，手机影像便需要依靠计算摄影技术来弥补物理限制。

为长焦高质量出片而生，MagicBokeh的诞生背景

近些年来，依托多帧融合、AI降噪、超分辨率、人像分割、虚化渲染等多种算法，手机相机的能力边界正在被不断拓宽。

用户在人像模式下已经可以获得不错的背景虚化效果。

但如果把场景切换到高倍数字变焦，问题会变得更加复杂。

高倍变焦往往依赖数字裁切和多帧融合。

画面被放大后，噪声、纹理模糊、边缘发虚等问题也会被随之放大。

此时，输入的图像本身已经不是一张高质量照片，再直接进行虚化渲染，就很容易出现主体边缘不干净、背景层次不自然、整体画面既不清晰也不高级的问题。

△vivo手机拍摄的长焦打鸟示例图片

针对上述问题，业内一种比较常见的思路是把拍摄任务拆分成两个独立的步骤：

即先做真实世界的图像超分辨率，再做虚化渲染。

具体而言，就是让超分模块和虚化模块各自拥有一个清晰的负责目标，超分模块负责清晰，而虚化模块负责虚化效果渲染。

这种思路听起来很合理，也契合传统影像链路中”让每个模块各司其职”的设计方式（模块串联）。

可一旦将这种两阶段链路用于高倍变焦虚化场景，便会暴露出难以克服的原生瓶颈：

首先是误差传递。

超分模型的输出并不总是完美的，它可能引入伪影、错误纹理或局部模糊。

这些问题一旦进入虚化阶段，就可能被进一步放大，最终影响主体边缘、背景过渡和整体真实感。

其次是端侧效率。

手机影像链路对延迟、功耗和内存都极其敏感。

倘若采用两阶段链路：先运行一个基于生成大模型的超分算法，再运行一个基于生成大模型的虚化算法。

整个流程不仅需要执行两次完整的生成式大模型推理，还会产生额外的数据读写开销，难以满足端侧高效运行的需求，并非优化真实拍摄体验的理想方案。

因此，MagicBokeh重新思考了这个问题，并给出了自己的一套解决方案：如果用户最终想要的是一张”高倍变焦下既清晰、又自然虚化”的照片，为什么不让模型从一开始就围绕这个最终目标来生成呢？

从割裂到统一，MagicBokeh的底层逻辑

MagicBokeh的核心思路，是用一个统一的扩散框架，实现面向长焦场景的虚化渲染。

MagicBokeh与传统串联链路不同的地方就在于，它可以在一次推理中同时完成真实世界图像超分辨率和可控虚化渲染，同时，两项任务能够共享并协同利用生成模型的先验知识。

这并非是简单地把”超分模型”和”虚化模型”合并到一起，而是把两个原本割裂的中间步骤，重新组织为面向最终成像体验的一次生成过程。

说人话就是，有了MagicBokeh，我们就像是同时在手机里请了一位”画质修复师”兼“背景虚化师“，他在处理长焦照片的时候，不仅能把模糊的地方打磨清晰，还能顺便把背景自然而然地虚化掉，突出主体。

在这个过程中，MagicBokeh需要同时理解三件事，即：

1.哪些区域应该尽可能保持清晰；

2.哪些区域应该根据空间关系自然虚化；

3.如何在退化输入、有限算力和可控效果之间取得平衡。

三项机制把关，平衡画质清晰与背景虚化双重需求

But！要让模型在同一个生成过程中，同时完成“清晰恢复”和“背景虚化”，并不容易。

超分辨率希望尽可能地恢复全图细节，而虚化渲染则希望保持对焦区域清晰，同时让背景区域呈现自然、平滑、有空间层次的散景效果。

二者在空间目标上天然不同。

为了解决这个矛盾，MagicBokeh设计了以下三项机制：

交替训练策略

MagicBokeh没有强行让模型在同一时刻同时学习所有目标，而是采用了交替训练策略。

它会在不同的训练阶段分别强化画质恢复能力和虚化渲染能力，让模型在分阶段的学习中逐渐学会在两种目标之间取得平衡。

这种设计让模型既能恢复高倍变焦图像中的对焦区域细节，又能在非对焦区域生成符合空间关系的自然虚化。

对焦区域感知的注意力机制

为了让模型明确理解“哪里该清晰，哪里该模糊”，MagicBokeh引入了对焦区域感知的掩码注意力机制。

它利用由深度信息生成的defocus map（像是给照片画的一张标明了模糊需求的“程度说明书”），对图像中的对焦区域和非对焦区域进行区分，并在注意力计算中加入空间约束。

这样，模型在处理主体和背景时，就可以采用不同的生成逻辑，减少超分和虚化之间的互相干扰。

退化感知的深度估计

自然虚化离不开准确的空间理解。

但高倍变焦图像通常存在噪声、模糊和细节缺失等问题，普通的深度估计模型在这种输入下容易失准。

于是，MagicBokeh针对这一问题设计了退化感知的深度估计模块，它能够让模型在低质量的变焦图像上依然能够获得更稳定的深度先验，为后续虚化提供可靠的空间结构基础。

△MagicBokeh长焦虚化效果图重塑成像管线，打破传统后期修图的链路局限

近年来，生成式模型在图像生成、修复与增强等领域展现出强大能力，但要将其真正融入手机拍摄链路绝非易事。

这并非简单的“大模型端侧移植”，而是要直面真实移动影像场景中的多重约束：

• 输入图像可能是低质量的；

• 用户需要可控、自然、符合真实先验的输出；

• 推理必须足够快；

• 算法必须适应端侧算力和功耗预算；

• 最终结果必须服务真实拍摄体验。

MagicBokeh的探索意义正在于此。

它不是把生成模型当作后期修图工具，而是让生成能力进入真实成像流程，参与解决手机光学系统受限带来的体验问题。

通过统一框架、轻量化设计和可控虚化条件，MagicBokeh让高倍变焦场景下的清晰恢复与自然虚化具备了更现实的落地可能。

一次推理实现高质虚化与灵活调焦，轻量化赋能端侧部署

EBB400-LQ基准测试结果表明，相较于此前传统影像链路中“模块串联”的设计方案，MagicBokeh在虚化质量、画质和推理效率方面均展现出了优势。

MagicBokeh能够在一次推理中完成高倍长焦虚化，避免两阶段流水线中的误差传递和重复计算。

同时，MagicBokeh支持焦点位置调节和虚化强度控制，使用户可以获得更加灵活的再对焦和景深效果。

更重要的是，MagicBokeh采用了面向端侧部署的轻量化设计。

通过对扩散模型结构进行裁剪和微调，它在保持感知质量的同时显著降低了计算开销，为真实移动设备上的部署提供了可能。

结语：突破物理边界，让生成式计算摄影真正融入日常出片

手机影像的发展，本质上一直是在物理限制与用户期待之间寻找新的平衡。

每一次技术演进都在让手机更接近专业影像设备的拍摄体验。

但越接近真实使用场景，问题也越复杂：它不再只是单点算法能力的竞争，而是整条影像链路如何围绕最终用户体验重新组织。

MagicBokeh入围CVPR 2026 Best Paper Finalist，是对这项工作技术结果的认可，更是对其问题意识的认可。它从手机高倍变焦这一真实拍摄痛点出发，重新思考了画质恢复、空间理解和自然虚化之间的关系。

它想回答的，不只是“如何做出更好的虚化”，而是：

当手机光学硬件受到物理限制、端侧算力受到现实约束时，生成式计算摄影应该如何真正服务于用户按下快门后的最终体验？

这也是 MagicBokeh带来的启发：生成模型的价值，不只是创造新的图像，更是帮助移动设备突破物理边界，让清晰、自然、可控的成像体验真正进入日常拍摄。