GCL学术活动:阿联酋人工智能大学闫令琪副教授、沙特国王科技大学张彪博士后

2025年8月4日(星期一)下午14:30-17:00,中国科学技术大学GCL学术报告活动在东区数学科学学院新楼310教室举行。来自阿联酋人工智能大学(MBZUAI)的闫令琪副教授进行了题为“Rendering-friendly Representations for Appearance Synthesis and Large-scale Scenes”的报告。来自沙特阿卜杜拉国王科技大学(KAUST)的张彪博士后进行了题为“How Representation Learning in 3D Impacts Generative Models”的报告。本次报告活动由GCL实验室主任刘利刚教授主持。

报告1:Rendering-friendly Representations for Appearance Synthesis and Large-scale Scenes

闫令琪老师的报告分享了其团队近期在构建渲染友好型表示方面的研究进展。报告聚焦于两个关键方向:一是外观合成,通过将真实世界中测量得到的外观样本应用于实时渲染,以提升渲染的真实感。二是大场景渲染,探索多尺度、可扩展的场景表示方法,以满足复杂场景的实时渲染需求。

在外观合成方面,物体外观可以由一个6维的双向纹理函数(BTF)描述,完整的真实外观的测量数据庞大。同时由于测量技术上的限制,只能测量小块的BTF,再由纹理合成生成完整BTF用于渲染。因此闫令琪老师团队提出了基于神经网络的纹理合成方案,在有效实现数据降维的同时,实现了运行时动态合成纹理,减少了存储和渲染成本,还能更进一步表示轮廓,视差等效果。

在大场景渲染方面,闫令琪老师指现在大场景渲染的性能问题在于几何复杂度远大于分辨率。在过去,场景中几何的数量小于像素的数量,而在如今的大规模、精细化场景下,一个像素所覆盖的区域往往包含大量微小的三角形。因此闫令琪老师团队提出了表面体素聚合方法,通过对体素整体的外观进行建模,以整体外观模型替代体素内部复杂的三角形光传输计算,从而有效降低渲染开销。

最后,闫令琪老师分享了他对于3D高斯作为渲染图元的思考。

报告精准地指出了目前在真实感渲染,以及大场景渲染上所面临的问题,针对性地提出了“渲染友好”表示的概念,为在场师生提供了新的视角,拓展了大家在图形表示与渲染方法上的思考维度。报告结束后,大家积极提问,和闫老师展开了热烈的讨论。

报告2:3D Representation Learning in Generative Models

张彪老师的报告讨论了探讨了3D生成中表征学习的关键挑战。不同于图像生成,有像素作为统一的通用表示,3D生成模型缺少单一的规范数据格式,现有的数据格式有网格,点云和符号距离场。

3D表征的基本选择直接影响生成任务的复杂性、可行性和性能。不同的表征在表达力、计算效率以及与学习算法的兼容性方面呈现出独特的权衡。张彪老师先回顾了3D生成模型的主流框架,分析它们如何适应、利用或规避各种3D表征带来的限制。并介绍了他设计的适合于基于transformer架构的结构化三维表征方法3DShape2VecSet。

随后,张彪老师介绍了他在几何分布上的工作。基于坐标的网络在建模几何时难以处理薄结构和非水密的结构。几何分布通过将3D几何建模为表面点的分布,并将其编码进扩散模型中,实现对所有可能表面点的分布的建模,从而为底层几何体提供了更加连续,准确的编码,能够适应具有不同亏格、边界条件和连通性的形状。

报告系统介绍了3D内容生成领域的相关研究进展,并通过具体实例强调了表征学习在实现稳健且多功能的3D生成任务中的核心作用。报告结束后,大家积极提问,并就多个许多问题的细节展开了深入的交流与探讨。

讲者简介

闫令琪现任阿联酋人工智能大学(MBZUAI)计算机科学副教授,并兼任英伟达客座教授。他的研究聚焦基于物理的渲染技术,包括外观建模与表示、物理光传输理论及实时光线追踪实践等领域。曾获得2019年ACM SIGGRAPH杰出博士论文奖及多项最佳论文奖。其研究成果已广泛应用于工业界,曾助力多部电影斩获奥斯卡最佳视觉效果奖。

张彪本科与硕士毕业于西安交通大学,博士毕业于沙特阿卜杜拉国王科技大学(KAUST)。其研究方向为计算机图形学、机器学习及交叉应用,特别是生成模型与表征学习,已在SIGGRAPH、CVPR、ICCV、ICLR和NeurIPS等顶级会议发表多篇论文。其提出的3DShape2VecSet的结构化三维表征方法已被广泛应用于多种三维生成技术。