IC-Light的视频版本来了，RelightVid：强光动态环境下的视频光照编辑神器

大家还记得那个ICLR 2025首次满分接收、彻底颠覆静态图像光照编辑的工作IC-Light吗？

今天，来自复旦大学、上海交通大学、浙江大学、斯坦福大学等机构的学者们正式宣布：IC-Light的视频版本来了——RelightVid！

• 论文标题：RelightVid: Temporal-Consistent Diffusion Model for Video Relighting
• 论文链接：https://arxiv.org/pdf/2501.16330
• 项目地址：https://aleafy.github.io/relightvid/
• Code: https://github.com/Aleafy/RelightVid

在视频动态环境下实现时序一致、光影真实、支持强光动态场景的高质量视频光照编辑，彻底打开下一代视频重光照的新篇章！

图1. RelightVid框架结构图，从背景合成、光照注入到最终编辑，全面支持高质量光影一致性视频重光照

RelightVid有何突破？

在Relight Your Images静态图像版本中，作者提出了通过条件控制方式实现灵活光照风格迁移的革命性方法。而这次，团队将目光瞄准更具挑战性的目标——视频光照编辑。

这不再是逐帧操作，而是要在真实的视频中保持光照随时间连续变化的时序一致性，还原自然真实的物理光影逻辑。

RelightVid首次实现了在强动态光照条件下的长视频编辑，不仅支持文字描述的光照风格控制，还兼容参考视频背景/光源图像。最终输出的视频在保持内容不变的同时，实现了光照的统一重构和流畅过渡。

从图像到视频：光照编辑的质变飞跃

图2. RelightVid框架结构图，从背景合成、光照注入到最终编辑，全面支持高质量光影一致性视频重光照

RelightVid展示了如何在图像层面实现任意光照控制，但当场景换成视频后，新的挑战扑面而来：

时间一致性：逐帧编辑很容易出现光影跳变、边界闪烁等问题

强光源建模：KTV、舞台灯、城市霓虹灯等高动态强光环境，传统方法无法真实还原

细节保持vs光照迁移的平衡：需要在保持原视频内容的前提下，引入合理的光照变化

为此，RelightVid提出了Reference-to-Video光照注入框架，结合合成背景生成和双分支前景编辑网络，构建全新的视频级光照编辑流程。

技术亮点抢先看！

Dual-Branch Architecture：将前景和背景解耦处理，前景保持结构稳定，背景灵活响应光照变化，从而有效避免伪影和失真。

Reference-based Illumination Injection：支持通过静态图像、描述文字、甚至参考视频，实现多模态光照风格控制。

Temporal-aware Editing Strategy：引入时序建模模块，对帧间关系进行学习，使得输出视频在光照变化中保持连贯性和自然性。

支持真实+合成混合输入：Relight a Video不依赖于实验室条件构建的数据集，而是能从真实视频+合成参考中学习强泛化能力。

实验结果震撼全场！

RelightVid在多个真实+合成视频数据集上进行了系统测试，覆盖了城市夜景、KTV舞台、户外灯光等多个强动态光源环境。

图3. RelightVid实验效果

通过与图像逐帧方法、video editing等baseline方法比较，RelightVid在保持视频内容连贯性的同时，实现了更加真实、自然的光照变化。

图3 右图展示了在城市夜景场景下，输入原视频、参考霓虹灯图像后，Relight a Video能够精确模拟出霓虹反光、水面投影等复杂光影现象，视觉效果极为震撼。

构建全新光照视频编辑基准数据集！

图4 LightAtlas数据集构建过程

为了支持这一任务的评估，作者构建了一个融合真实与合成场景的高质量benchmark，LightAtlas包括：

• 多种类型的参考光源（图像/视频/文本）
• 超过百段来自真实世界场景的动态视频
• 长达10秒以上的高时序连续性
• 并配套设计了光照质量、内容保持度、时间稳定性等多维度指标，用于全面评估视频relighting效果。

Relight a Video正式开源！快来一起relight the world！

Relight a Video已全面开源，项目主页提供了详细的模型结构、推理脚本、demo视频和数据下载地址。如果你对图像/视频编辑、3D重建、视觉物理建模、生成模型感兴趣，Relight a Video是你绝不能错过的方向！

©（文：机器之心）