GCL学术成果:SIGGRAPH Asia 2026-基于投影镜面流形的镜面材质可微渲染

近日,SIGGRAPH Asia 2026 接收成果公布,来自中国科学技术大学数学科学学院 GCL 实验室的刘利刚研究团队与来自南京大学智能科学与技术学院的王贝贝研究团队合作提出了一种针对镜面材质的可微渲染方法。

镜面材质可微渲染导数计算结果对比

图1:本工作计算的导数图(右2)与参考值(左2)及之前方法(右1)的对比

一、背景:可微渲染

如果您给一个真实物体拍了一张照片,然后想重建出它的三维模型,并让虚拟渲染出来的效果和照片一模一样。最聪明的办法是,让计算机自己“猜”一个模型,渲染出图像,对比差异,然后反向调整模型参数,直到渲染图和照片足够接近。

这个反向调整的过程,依赖的就是可微渲染,依赖的就是可微渲染,它能够计算:当我改变场景中某个参数(比如模型的位置、或场景的光照)时,渲染图像中的每个像素会如何变化?这个变化量就是导数,它是所有基于梯度的优化算法的基础。

可微渲染可以让计算机学习如何从图像中反推世界,已成为三维重建、逆渲染、自动驾驶仿真、AI生成3D内容等热门领域的底层核心技术。

二、挑战:镜面材质的可微渲染

但是,可微渲染遇到镜面材质(如镜子、光滑金属、平静水面)时,会遇到困难。这是因为,通过某个点观察普通物体表面时,接收的光线来自四面八方,你稍微移动一下物体,看到的亮度与颜色会平滑变化,这种连续性让求导变得容易。但镜面材质不一样,你看到镜子里的反光,只来自唯一的一条光线路径(满足反射定律的那一条光线)。稍微改变一点角度,那条光路就可能会看到不同的物体,观察到的颜色可能发生跳变,没有任何平滑过渡。

在数学上,这种“唯一”与“突变”的特性,是用狄拉克 δ 函数进行描述,其带来的问题就是,渲染方程不再连续,导致在物体边界处会“爆炸”或“消失”,传统的可微渲染方法完全无法正确处理。更麻烦的是,要算准这个导数,你需要在满足反射/折射定律的条件下找到三维场景中精确的边界曲线(我们称之为“不连续边界”)。但这些镜面光路是“隐式”的,你无法提前知道这些曲线在哪里,因为它们依赖于物体形状、视角和光源位置的复杂耦合。

三、现有方法的主要问题

现有可微渲染方法多聚焦于遮挡导致的阶梯型不连续,它们假设BSDF连续,因此无法处理含δ函数的理想镜面BSDF。少数工作虽尝试支持此类材质,但均未能正确处理几何边界带来的不连续性,它们的方法会在不连续边界附近退化,引入较大的误差。迄今为止,还没有任何方法能在镜面材质下正确计算出渲染图像的导数(图1)。这个难题,困扰了图形学界多年。

四、我们的核心思路

镜面BSDF含δ函数,会使得积分发生退化,比如两个物体表面上的双层积分会退化为一个单层的二维积分。对该积分求导时,会产生定义在不连续边界上的边界积分。

面对找不到不连续边界的困难,我们换了一个角度思考:那条难找的曲线,其实存在于一个叫做“镜面流形”的抽象空间里——它描述了所有满足镜面反射或折射定律的光路。这个流形是一个二维曲面(就像一张弯曲的纸),隐藏在三维场景的多个物体表面之间(图2)。

我们的核心观察是:既然镜面流形是一张二维曲面,我们完全可以把它“投影”到某个物体表面上去。这样,原本定义在抽象流形上的积分,就变成了定义在一个具体的、已知的物体表面区域上的积分。虽然我们仍然不知道这个区域的边界在哪里,但没关系——因为我们可以使用数学上的重参数化技巧,把边界上的积分巧妙转化为区域内部的积分。这样,我们就绕过了“必须找到边界曲线”这个不可能任务,直接在物体表面上算出正确的导数。

投影镜面流形PSM的定义

图2:投影镜面流形(PSM)的定义

五、重参数化计算:通过直接插值方法构建速度场

重参数化方法利用散度定理把边界积分转化为在PSM内部的二维积分,其核心在于构建一个PSM上连续的速度场,使得该速度场在PSM的不连续曲线上等于不连续曲线关于场景参数的移动速度。在PSM上,该速度场需要考虑多个物体在镜面约束下的移动速度。我们提出了一种基于直接插值的方法,根据当前光路顶点到对应物体边界的距离,来插值不同物体在PSM上产生的对应速度。

上述方法还可以拓展至粗糙镜面材质。粗糙镜面材质的特点是法线分布概率密度较高,虽然不像δ函数一样是不连续的,但是对这样的法线分布函数直接求导会导致导数带有极大的噪声。我们发现可以对含有粗糙镜面材质的积分进行改写,将问题转化到PSM上。在PSM上求导可以将法线分布函数导数带来的全局噪声转化为局部边界附近的噪声,实现了整体噪声的有效降低。

六、实验结果:微分结果与梯度优化

我们在多种场景上进行了系统实验,验证了本文方法在导数计算与基于梯度的优化任务中的有效性。

我们将本文方法计算的几何导数与参考值及现有方法进行对比(图3)。结果表明,本文方法取得最小误差,其他方法误差显著较大,原因在于本文方法正确计算了镜面材质下几何不连续性带来的边界积分,而其他方法未能做到。对于粗糙镜面材质,我们方法求出的导数具有最小的噪声。

导数计算部分结果与对比展示

图3:导数计算部分结果与对比展示

除此之外,我们还进行了基于梯度的优化验证,使用计算出的导数来驱动梯度优化(图4)。结果表明:本文方法成功驱动几何优化收敛至目标,在镜面与粗糙镜面材质下均有效。

基于梯度优化几何的部分结果与对比展示

图4:基于梯度优化几何的部分结果与对比展示

七、总结与展望

我们这项工作的核心贡献是,第一次为镜面材质可微渲染的边界导数提供了正确的计算方法,填补了该领域的一项长期空白。我们提出了一种针对镜面材质边界导数的计算方法,引入“投影镜面流形”将难以显式定位的镜面流形投影至物体表面,从而利用重参数化来计算边界积分。实验表明,本文方法计算的导数与参考值高度吻合且能够成功驱动梯度优化任务。

未来,我们计划将这一思路推广到更复杂的多反射场景(比如镜子之间的相互反射),以及与高效的镜面路径追踪技术结合,让计算机能够在包含多个小镜面球的复杂场景中,也能稳定、高效地求导。

论文发表

该工作已被计算机图形学顶级国际会议SIGGRAPH Asia 2026接收。

论文信息

论文标题: Differentiable Rendering for Specular Materials via Projected Specular Manifolds

作者: 李睿增(1,2),王佩琦(1),王贝贝(3),刘利刚(1,2)

单位: 中国科学技术大学(1),崂山实验室(2),南京大学(3)

项目主页: https://rhythm25.github.io/PSMpage