GCL学术成果：SIGGRAPH 2025 IMLS-Splatting

5月 8, 2025 1 分钟阅读时长

【论文标题】IMLS-Splatting: Efficient Mesh Reconstruction from Multi-view Images via Point Representation

【作者】杨开智 1，Dai Liu 2，Isabella Liu 2，Xiaoshuai Zhang 3，孙晓艳1，陈雪锦 1，Zexiang Xu 3，Hao Su 1&3

【单位】中国科学技术大学1，加州大学圣地亚哥分校 2，Hillbot Inc 3

背景与问题

从多视角图像中重建高质量Mesh，一直是图形学与计算机视觉领域中的重要挑战。该任务的实现为下游的渲染、场景理解以及几何操作等任务奠定了关键基础。早期的研究主要依赖于多视角立体视觉（MVS）技术，然而，此类方法对纹理变化与光照条件极为敏感，因而在复杂场景中的适用性受到了限制。近年来，神经渲染技术的发展为多视角重建问题提供了新的解决途径，代表性工作如 Neural Radiance Field(NeRF)和 3D Gaussian Splatting (3DGS) ，分别通过隐式函数与显式高斯核对三维场景进行建模，并通过体渲染优化，获得了高质量的照片级真实感渲染效果。为提升表面重建准确性，后续方法如 NeuS和 2DGS在场景表示上进行了细化，并引入了额外正则化，从而使体渲染能够更准确地近似表面渲染。然而，在这些方法中，Mesh通常通过独立的后处理步骤提取，导致在优化过程中无法显式约束最终的Mesh质量，因此重建出的Mesh往往会存在额外的几何误差与渲染误差。

除了基于体渲染的方法，目前已有多项研究致力于直接从多视角图像中端到端优化表面Mesh。例如，NvDiffrec和 FlexiCubes等方法采用符号距离场（SDF）结合等值面提取算法生成拓扑可优化的Mesh。尽管此类方法能够直接产生适用于后续几何处理和真实感渲染的高质量Mesh，但其依赖于密集的体素表示，未能有效利用三维表面的固有空间稀疏性，导致高昂的存储与计算开销。此外，为了维持距离场的空间性质并保证表面光滑性，这类方法往往需引入额外正则化损失，导致在恢复复杂细节时存在一定的性能牺牲。

相比之下，点云由于天然具备空间稀疏性，更符合真实三维表面的分布特性；同时，点云在拓扑表达上的灵活性，使其在建模复杂多变表面时具有独特优势。因此，我们的目标是将点云作为表面Mesh的潜在表达引入优化流程，通过设计可微分的点云到表面的映射机制，在多视角图像监督下，直接对点云分布以及对应的表面几何进行联合优化，从而实现高质量的Mesh重建。

图1. 本方法以稀疏且具拓扑灵活性的点云表示（左）为起点，重建出高保真、封闭连通的Mesh（右）。
图1. 本方法以稀疏且具拓扑灵活性的点云表示（左）为起点，重建出高保真、封闭连通的Mesh（右）。

解决方案

点集表面（Point-set Surface, PSS）方法为点云与连续表面之间提供了直接的途径。其中，隐式移动最小二乘（Implicit Moving Least-Squares, IMLS）是一种经典的 PSS 技术，通过组合各点切平面的符号距离场，构建出全局符号距离场，从而有效表示目标几何形状。凭借其简洁的数学表达与良好的理论性质，一些后续方法将IMLS融入神经几何重建框架，在性能与计算效率方面取得了优异表现。然而，现有方法通常仅在离散采样点处通过真实符号距离函数（SDF）作为监督信号来训练 IMLS 场，无法在训练过程中生成显式表面，在一定程度上限制了其在多视角重建框架中的应用潜力。

为此，本文提出了 IMLS-Splatting，将 IMLS 引入多视角重建流程，实现了端到端的Mesh优化。具体而言，我们设计了一种基于溅射（Splatting）的可微分 IMLS 构建方法，能够直接从输入点云生成完整连续的表面网格。方法从输入点出发，构建三维规则体积（grid），并识别出每个点影响到的体积顶点；随后，将点的位置、法向量等信息溅射到相应的体积顶点，并计算局部 IMLS场从而生成覆盖完整表面的稀疏符号距离场（SDF）。同时，为支持高质量渲染，我们进一步提出了基于 IMLS 的纹理特征映射方法，将点云的纹理信息映射至纹理特征场，用于后续渲染阶段。受 3D Gaussian Splatting（3DGS）中高效溅射策略的启发，本文针对上述过程设计了可微并行算法，实现了十万级规模点云向高分辨率体积的高效投影。通过集成可微分等值面提取（iso-surfacing）与光栅化（rasterization）模块，我们实现了基于点云的端到端多视角图像Mesh重建流程。更多细节与说明详见我们的论文。

实验结果

针对我们提出的多视角重建方法，我们在两个常用数据集NeRF-Synthetic和 DTU上进行了系统的实验与分析。如图2所示，相较于现有的先进方法，本文方法能够生成细节更丰富的表面结构，并在高光反射区域展现出更优的表面恢复能力。得益于所提出的快速溅射算法，整体重建时间仅约为 11 分钟。此外，在重建精度方面，本文方法也在定量评测中优于其他先进方法，进一步验证了其有效性。

图2. 所提方法与现有表面重建算法的定性对比。
图2. 所提方法与现有表面重建算法的定性对比。

本文还对训练结束后的点云与 SDF 进行了分析，如图3所示。可以观察到，优化后的点云能够紧密贴合物体表面，且分布均匀。此外，得益于 IMLS 理论性质的支撑，本文方法在构建 SDF 场时无需额外引入诸如 Eikonal 损失等常见正则化项，从而有效避免了因附加正则化而导致的收敛速度下降或细节丢失问题。最终生成的 SDF 场能够准确捕捉目标物体的几何与拓扑特征，同时自然保持良好的光滑性与连续性。

图3. 训练结束后的点云与SDF等值面可视化
图3. 训练结束后的点云与SDF等值面可视化

技术贡献

在这项工作中，我们的贡献主要包括：

  1.  提出了IMLS-Splatting，一种基于溅射的快速可微IMLS 算法、能够从多视角图像端到端重建Mesh；
  2. 通过引入IMLS表达形式，我们的方法在无需额外正则化的情况下，实现了平滑的SDF生成与高细节Mesh重建；
  3. 我们的方法在新视角合成任务和表面重建任务中展现了优异的性能。

论文发表

该工作已被计算机图形学顶会SIGGRAPH 2025接收，并将发表于顶级期刊《ACM Transactions on Graphics》。该期刊2023-2024年度影响因子为7.8，是计算机科学与软件工程领域的一区刊物之一。

论文原文

Kaizhi Yang, Liu Dai, Isabella Liu, Xiaoshuai Zhang, Xiaoyan Sun, Xuejin Chen, Zexiang Xu, Hao Su, IMLS-Splatting: Efficient Mesh Reconstruction from Multi-view Images via Point Representation. ACM Transactions on Graphics (Proc. SIGGRAPH), 44(4),2025.

学术成果