GCL学术成果:SIGGRAPH 2026-SDFRaster:面向端到端网格重建的距离场光栅化表达

近日,SIGGRAPH 2026 接收成果公布,来自中国科学技术大学数学科学学院GCL实验室的张举勇研究团队提出了一种面向多视角三维重建的全新方法——SDFRaster。该方法围绕高质量网格重建中的三维曲面表达、渲染效率与端到端优化问题,提出了一种可光栅化的符号距离场表达,将 Signed Distance Field(SDF)的连续几何表达能力与光栅化渲染的高效优化机制相结合,实现了从多视角图像到高质量网格模型的端到端重建。

不同于依赖深度融合、TSDF 融合或其他启发式后处理步骤的表面重建方法,SDFRaster 将场景表示为定义在 Delaunay 四面体网格上的连续符号距离场,并通过四面体光栅化完成高效可微渲染。同时,该方法在优化过程中集成可微 Marching Tetrahedra,使最终网格能够直接参与训练约束,从而缩小图像渲染目标与表面重建目标之间的差距。

视频

一、多视角三维重建:从图像观测到可用三维模型

从二维图像恢复三维几何结构,是计算机图形学与计算机视觉领域长期关注的基础问题。多视角三维重建希望利用不同视角下拍摄的图像,恢复物体或场景的三维形状、表面细节与外观信息。该技术在数字孪生、机器人感知、虚拟现实、影视制作、游戏资产生成、文物数字化和工业检测等场景中具有重要应用价值。

传统多视角重建通常采用 Multi-View Stereo(MVS)管线:首先从多张图像估计深度图或点云,然后通过深度融合、TSDF 融合或泊松重建等步骤生成网格。这类方法流程明确、工程应用广泛,但容易受到深度估计噪声、多视角不一致、弱纹理、遮挡和反光区域等因素影响,最终网格可能出现孔洞、浮点、边界断裂或局部结构缺失。

近年来,神经隐式表示为表面重建提供了新的方向。以 SDF 为代表的隐式方法使用连续函数描述三维空间,其零水平集天然对应物体表面,因此在几何一致性、表面完整性和拓扑表达方面具有优势。然而,传统神经 SDF 方法通常依赖沿光线的密集采样和大量网络查询,优化过程计算开销较高,在复杂场景和大规模重建任务中仍面临效率限制。

与此同时,基于光栅化的显式表示,尤其是 3D Gaussian Splatting 及其后续工作,在新视角合成中展现出高效训练和实时渲染能力。光栅化方法能够充分利用 GPU 并行计算优势,显著提升优化效率。但这类方法通常以 Gaussian、点、体素或其他体积基元作为底层表示,并不直接定义连续、全局一致的表面。因此,当需要最终网格模型时,往往仍需依赖额外表面提取或深度融合步骤,导致最终网格质量与训练优化目标之间存在偏差。

由此可见,当前多视角表面重建面临一个关键问题:如何在保持高效可微渲染能力的同时,获得具有明确几何定义、良好表面质量和端到端可优化特性的网格结果。

二、现有方法的核心矛盾:表面表达与渲染效率难以统一

神经隐式 SDF 方法能够提供清晰的表面定义。由于表面由 SDF 的零水平集直接给出,这类方法在几何一致性和表面完整性方面具有天然优势。然而,其渲染过程通常需要沿每条相机光线进行多点采样,并在采样位置频繁查询神经网络,导致训练和渲染效率受到限制。基于光栅化的显式方法则具有较强的计算效率优势。它们可以快速完成图像渲染和参数优化,因此在大规模场景和实时应用中具有吸引力。但由于其底层基元通常不直接对应连续表面,最终网格往往需要通过后处理获得。这种流程不仅增加了系统复杂度,也可能引入额外误差,使重建结果在完整性、紧凑性和几何一致性方面受到影响。

因此,一个自然且重要的问题是:能否构建一种新的三维表达,同时具备 SDF 的明确表面定义和光栅化方法的高效优化能力?

三、SDFRaster:可光栅化的符号距离场表示

SDFRaster 的核心思想是将三维空间离散为 Delaunay 四面体网格,并在四面体顶点上参数化 SDF 值。对于四面体内部的任意位置,其 SDF 值可以由顶点 SDF 线性插值得到。这样,整个场景便被表示为一个连续的、分片线性的符号距离场。

这一表示具有两个关键优势。首先,它保留了 SDF 的几何表达特性。物体表面仍然由 SDF 的零水平集直接定义,因此重建结果具有明确的表面含义,而不是从深度图或体积基元中间接推断得到。其次,它使 SDF 能够被组织进光栅化渲染流程。渲染过程中,SDFRaster 可以直接计算光线与四面体的交叠区间,并在四面体内部根据 SDF 估计不透明度与颜色贡献,从而避免传统隐式方法中昂贵的密集 ray marching。总结:SDFRaster 将 SDF 从传统的连续隐式函数,转化为一种适合 GPU 并行渲染和可微优化的几何场表达。

图片

图1:SDFRaster的算法流程框架

四、方法框架:四面体 SDF、可微渲染与在线网格提取

SDFRaster 的整体框架可以概括为三个部分:四面体距离场表示、基于光栅化的可微渲染,以及训练过程中的端到端网格提取。

1. 四面体距离场表示

SDFRaster 使用 Delaunay 四面体网格作为 SDF 的承载结构。与规则体素网格相比,四面体网格能够更灵活地适应三维空间中的几何分布;与点或 Gaussian 等表示相比,四面体网格具有明确的空间连接关系,更适合表达连续表面。在该表示中,每个四面体顶点存储一个 SDF 值,四面体内部的 SDF 通过线性插值得到。因此,零水平集可以在四面体内部形成局部线性表面片段,并最终通过 Marching Tetrahedra 提取为显式网格。

这种设计使得网格不再是优化结束后的附属产物,而是从表示层面就被纳入建模过程。相比依赖后处理的表面提取方式,SDFRaster 的表面来源更加直接,也更有利于保证几何一致性。

2. 基于光栅化的距离场渲染

传统神经 SDF 方法的主要计算瓶颈来自光线采样。为了估计颜色和密度,模型通常需要沿相机光线进行大量采样,并在采样点上查询网络。SDFRaster 则利用四面体网格的空间结构,将渲染过程转化为四面体光栅化问题。对于每条相机光线,方法计算其与相关四面体的进入和离开位置,并在对应区间内根据 SDF 值估计不透明度贡献。随后,通过前向 alpha 合成得到最终像素颜色。

这一过程减少了传统 ray marching 中的大量无效采样,使计算更加集中于当前视角真正相关的几何区域。同时,光栅化流程能够充分利用 GPU 并行能力,从而提升整体优化效率。

3. 训练过程中的网格提取与几何一致性约束

在许多三维重建方法中,训练阶段主要优化图像重建误差,而最终网格通常在训练结束后通过额外步骤提取。这会导致训练目标与最终几何目标之间存在不一致:模型可能获得较好的图像渲染效果,但提取出的网格仍可能包含噪声、孔洞或冗余结构。为缓解这一问题,SDFRaster 将可微 Marching Tetrahedra 集成到训练过程中。方法可以在优化阶段从当前四面体 SDF 场中提取网格,并利用提取网格与距离场之间的深度、法向一致性约束,使图像渲染目标与几何重建目标更加紧密地耦合。

这种设计使最终网格质量能够直接参与优化过程,而不是被推迟到后处理阶段解决。由此,SDFRaster 能够更好地提升最终网格的稳定性、完整性和表面质量。

五、 实验结果:高质量、紧凑且一致的表面重建

我们在 DTU、Tanks and Temples 等标准多视角三维重建数据集上进行了系统实验。实验结果表明,SDFRaster 能够在保持较高优化效率的同时,生成更加完整、干净和紧凑的网格模型。

从量化结果来看,SDFRaster 在重建精度、表面完整性和存储成本等方面展现出良好的综合性能。相比依赖后处理融合的光栅化重建方法,SDFRaster 的表面直接来自全局一致的 SDF 零水平集,因此能够减少由多视角深度不一致引起的孔洞、浮点和冗余面片。相比传统隐式 SDF 方法,SDFRaster 通过四面体光栅化避免了昂贵的密集 ray marching,在优化效率上也具有明显优势。

图片

图2:SDFRaster 与现有方法在标准数据集上的量化比较

除量化指标外,定性结果也进一步验证了 SDFRaster 的表面重建能力。在复杂边界、薄结构和局部细节区域,SDFRaster 能够恢复更加连续、稳定的表面结构;在存在遮挡或多视角观测不充分的区域,该方法也能受益于 SDF 表示的全局几何一致性,减少局部破碎和表面噪声。

与基于体积基元并依赖后处理提取网格的方法相比,SDFRaster 生成的网格更加紧凑,表面结构更加清晰。这说明,将 SDF 直接嵌入光栅化管线,不仅提升了优化效率,也使最终几何结果与训练过程之间建立了更加直接的联系。

图片

图3:SDFRaster 与现有方法的重建结果对比

六、总结与展望

SDFRaster 统一了两类长期并行发展的技术路线:一类是以 SDF 为代表的隐式表面方法,强调几何一致性和清晰表面定义;另一类是以光栅化为代表的显式高效渲染方法,强调训练效率和可扩展性。SDFRaster 证明,二者并非只能取其一,而是可以通过合适的几何表示和渲染机制实现互补。未来可以进一步将SDFRaster的端到端可微网格重建与物理仿真结合,实现动态形变物体的几何与物理参数恢复,并进一步实现高精度仿真预测。

论文发表

该工作已被计算机图形学顶级国际会议 SIGGRAPH 2026 接收。

论文原文

**论文标题:**Distance Field Rasterization for End-to-End Mesh Reconstruction

**作者:**Jinkai Cui,Kaiwen Song,Chumeng Niu,Juyong Zhang

**单位:**中国科学技术大学

项目主页:https://ustc3dv.github.io/SDFRaster/

arXiv:https://arxiv.org/abs/2604.23537