GCL学术成果：SIGGRAPH Asia 2026-PART：基于Transformer的3D零件自动检索与组装
近日，SIGGRAPH Asia 2026 接收成果公布，来自中国科学技术大学数学科学学院GCL实验室的鲍汝超同学、吴汶政同学、项楚成同学、刘利刚老师，以及腾讯的刘中远、董金昕，香港科技大学的刘缘老师、汪子琦老师合作的论文 PART: Learning 3D Part Assembly and Retrieval with Transformers 被 SIGGRAPH Asia 2026 Conference Papers 接收。
该论文提出了一种基于 Transformer 的 3D 零件检索与装配框架 PART，能够根据目标形状，从包含大量候选零件的库中自动选择合适的零件，并预测它们的 6-DoF 位姿，最终完成目标三维模型的自动组装。
图1：PART 根据输入的目标形状（左）以及零件库（中），能够自动检索适合的零件并组装以重建目标形状（右）。
一、问题背景：自动组装
乐高大师用成千上万块积木拼出雄伟的城堡或飞船，每块积木选什么模块、怎么摆放，全凭经验和耐心。在三维设计领域，一架飞机、一辆汽车、一台机器人，并不是一次性建模出来的，而是由大量可复用的零件（比如螺丝、面板、支架）组装而成。这种可重用的积木式设计方式，便于后期修改、替换和复用，也减少了制造成本，更符合工业制造的实际流程。
但在目前绝大部分三维建模工作中，仍然依赖设计师从零件库中手动挑选零件，然后逐一调整位置和朝向。一个复杂产品往往涉及上百个零件，这一过程耗时数小时甚至数天，而且高度依赖设计师的专业经验。无经验的设计师可能因为挑错一个零件或摆错一个角度，导致整个装配失败。
如果能用人工智能自动完成“自动组装”，即完成选零件、定数量、摆位姿的全流程，设计师就只需输入一个目标形状，AI自动从零件库里挑出合适的模块并拼好，这将极大地解放生产力。
二、现有方法的不足
但是，现有的自动组装方法并没有给出令人满意的解决方案。主要存在两个挑战：
第一个挑战是，零件选什么、选多少？一个真实零件库通常包含成千上万种零件，有长螺丝、短螺丝、平板、弯管……很多形状还非常相似。但目标模型可能只需要20个零件，从库里的2000个候选中挑选20个零件，这是一个典型的组合爆炸问题。现有的大部分自动组装方法，都假设零件已经提前选好了，只需要摆位置即可。这在实际应用中是不可行的。
第二个挑战是，没有完全匹配的零件怎么办？现实场景中，零件库可能并没有与目标形状完全一致的零件，这时需要选择几何最接近的替代方案。
三、我们的方法
不同于传统的方法需要先选后摆两步走，我们将挑选和摆放这两个任务同时耦合求解，让它们互相帮助。为此，我们设计了一种基于 Transformer 的神经网络架构，提出了统一的三维零件检索与组装框架 PART，能够有效处理可变数量的零件输出，以及应对大规模候选零件带来的组合搜索问题。
我们的模型有这样两个关键设计。第一，结构型配备了一组可学习的查询向量，可同时关注目标形状和候选零件，选择对应合适的零件并预测其位姿；未匹配到零件的查询则被自动忽略。通过这种方式，模型能够根据目标形状自动确定所需的零件及其数量，以并行方式高效完成检索与组装。
其次，为了进一步提高零件姿态预测的准确性，PART 利用了三维组装与目标分割之间的互补关系：目标的区域划分能够为零件摆放提供几何依据，而组装结果也可以反过来约束区域划分。
基于这一特点，PART 联合学习零件检索、点云分割和姿态预测，并利用分割结果进一步优化零件的位置与朝向，最终实现从零件选择、数量确定到模型组装的一体化处理。
图2：PART 整体框架。
四、实验结果
研究团队构建了包含超过8万个三维模型的大规模零件组装数据集，并在椅子、桌子、灯具等多类模型上进行了验证。实验表明，PART能够根据目标形状自动选择合适数量的零件并完成组装，重建结果与目标几何更为接近，整体组装精度优于现有方法。
图3：实验结果展示。
即使零件库中不存在完全匹配的零件，该方法也能够选择几何结构相近的零件进行替代。此外，PART还展现出一定的下游扩展潜力，可探索应用于单张图像引导的三维组装、室内场景布局组装以及基于真实扫描点云的组装等场景。
五、总结与展望
我们这项工作PART的核心贡献是，第一次将“零件检索”和“零件组装”统一在一个端到端的Transformer框架中，让AI能够从大规模零件库中自动决定选哪些、选多少、怎么摆，一次性完成三维模型的全自动装配。这项技术有望显著降低工业设计、数字内容生产和智能制造中的人力成本，让设计师从繁琐的零件挑选和摆位中解放出来，专注于更高层的创意工作。
未来，我们希望进一步引入物理约束，比如零件之间不能穿透（碰撞检测）、结构要稳定（重心平衡）、连接关系要合理（螺纹匹配等），让组装结果不仅看起来像，更可以真实制造出来。
论文发表
该工作已被计算机图形学顶级国际会议SIGGRAPH Asia 2026接收。
论文信息
论文标题： PART: Learning 3D Part Assembly and Retrieval with Transformers
作者： Ruchao Bao, Wenzheng Wu, Chucheng Xiang, Zhongyuan Liu, Yuan Liu, Jinxin Dong, Ligang Liu, Ziqi Wang
单位： 中国科学技术大学、腾讯、香港科技大学