GCL学术成果：SIGGRAPH 2025-基于深度强化学习的多图像材质重建
【论文标题】Appearance-aware Multi-view SVBRDF Reconstruction via Deep Reinforcement Learning
【作者】朱鹏飞1，过洁1，刘一凡1，孙奇1，王彦翔1，许科恒1，刘利刚2，郭延文1
【单位】南京大学1，中国科学技术大学2
背景与问题
不透明表面空间变化双向反射分布函数 (SVBRDF) 的重建是计算机图形学和视觉领域中一个基础而又极具挑战性的问题。从数学上来看，对SVBRDF函数的重建本质上就是对该函数的采样的过程。鉴于其高维属性，传统的重建方法通常依赖于数百或数千张图像的密集采样，这需要制作专用设备以及极长的采集时间。借助于深度学习，如今重建成本可以降低到仅需一张由轻量级移动设备采集的图像，这在成本和复杂度方面实现了巨大的突破。尽管这些方法操作简便，但单张图像输入的信息有限，导致在复杂材质上无法获得高质量的结果。因此，为了兼顾高效和高质量，利用少数多张图像重建 SVBRDF 正成为一个颇具吸引力且活跃的研究方向。
然而，一个重要的技术问题尚未得到深入研究，即如何在有限数量的采集图像中稳定地找到每种材质的最佳采样集。现有方法通常采用启发式采样策略，通常假设输入图像的数量是预先确定的，并且对于所有材质都相同。然而，对于某些具有挑战性的材质，这些固定的采样点可能不够充分，而对于其他材质，这又可能存在冗余。
针对这一问题，我们提出一种外观感知的自适应采样策略来解决。
解决方案
本文将对材质的采样过程建模为一个序列决策问题，并采用深度强化学习框架来训练一个代理（agent），其根据已采样得到的材质外观，规划下一个最佳的视图照明 (NBVL) 对，并基于实际采样得到的结果更新状态，并循环进行下一步规划。当代理选择停止后，迄今为止的NBVL 序列构成了该材质的最佳采样集。其次，为了采集充分的训练数据以优化代理，我们设计了一个奖励函数，利用一个材质估计模型为每一步采样提供奖励，并引入两个辅助损失函数以及一个数据增强方式以帮助训练。更多细节与说明详见我们的论文。
实验结果
通过在合成数据和真实数据上的实验验证，充分说明了该方法相对于当前启发式的采样策略的优越性。
技术贡献
在这项工作中，我们的贡献主要包括：
-
将多图像 SVBRDF 重建中视图-光照对的自适应采样概念化为一个序贯决策问题，并提出了一个深度强化学习 (DRL) 框架来解决该问题。
-
为 DRL 框架设计了一个实用有效的奖励函数，引导智能体在 SVBRDF 重建过程中探索信息丰富的样本。
-
加入了两个辅助任务和一个专用的数据增强方式帮助稳定训练。
论文发表
该工作已被计算机图形学顶会SIGGRAPH 2025接收（Conference track）。
论文原文
Pengfei Zhu, Jie Guo, Yifan Liu, Qi Sun, Yanxiang Wang, Keheng Xu, Ligang Liu, Yanwen Guo. Appearance-aware Multi-view SVBRDF Reconstruction via Deep Reinforcement Learning. ACM SIGGRAPH (Conference track), 2025.