学术报告：北京航空航天大学王莉莉教授：面向复杂装配任务的混合现实智能指导技术

2026年4月28日（星期二）下午16：00-17:30，安徽省图形计算与感知交互重点实验室（GCL实验室）学术报告活动在东区数学科学学院308教室举行。北京航空航天大学王莉莉教授受邀作题为“面向复杂装配任务的混合现实智能指导技术”的报告。本次报告由实验室傅孝明老师主持。

王莉莉教授从“装配序列规划”与“装配引导”两大维度，系统阐述了智能装配指导系统的必要性与紧迫性，并分享了其团队的最新研究成果。在序列规划方面，团队提出了可泛化装配规划（ATA），将装配视为拆卸的逆过程，通过物理仿真随机生成拆卸队列并反转获得可行序列，突破了传统方法的状态空间限制。针对单部件顺序拆卸效率低下的问题，发展了面向多用户的虚拟现实协作拆卸（CDP），采用双队列动态激活机制与邻近感知任务分配，在Fusion360数据集上相比ATA成功率提升9%，协同拆卸时间减少56%，加速比达2.2倍。为弥合纯几何方法的语义鸿沟，团队进一步提出装配知识图引导的拆卸序列规划（LLM-DSP），离线构建融合几何、语义与程序性约束的知识图，结合在线“提议—验证—学习”闭环，在最大307个零件的装配体上拆解成功率领先5.1%，单部件拆卸时间缩短8.9%~17.8%。同时，针对图神经网络难以建模长程时序依赖的问题，设计了用于VR交互引导的拆解序列规划Transformer（DSPT），实现时空特征全局融合，序列准确率达60.29%，步进准确率87.68%。

在装配引导方向，团队提出基于超图和LLM解说的AR装配指导，将组件层次、阶段约束等高层任务逻辑建模为装配超图，并经LLM优化为符合自然认知节奏的连贯指令。为解决维护系统知识刚性与闭环缺失问题，构建了基于神经符号融合的人机协同AR框架（KARMA），利用LLM+GraphRAG抽取异构数据形成动态知识图谱，结合符号验证与“人在回路”机制，实现知识持续进化。在混合现实远程协作方面，开发了自适应视觉指导（Avicol），通过点云分割、姿态优化与自适应指令序列，克服遮挡与姿态传达难题。最后，团队通过脑电实验探索了MR原位装配可视化的核心认知动态，将装配动作细分为取件、定位、插入三个阶段，从PSD、脑区连接、事件相关电位等指标证明MR引导可从生理层面显著降低认知负荷，提升盲区装配精度。

提问环节学术碰撞热烈。与会者聚焦三大关键问题：工业CAD设计中蕴含的装配约束、层次结构、设计意图等“白盒”信息被完全丢弃，仅靠几何与算法逆向能否真正解决复杂问题；物理仿真是验证序列可行的金标准，但计算成本极高，是否存在轻量化网络高精度替代；当前规划对可行性的评估多停留在几何“可达性”，严重缺乏对操作姿态、疲劳度等人因工程的考量。讨论深刻揭示了智能装配规划从实验室走向工业现场所必须跨越的理论与技术悬崖——核心在于将工程知识、人的智慧与数据驱动算法深度融合，以解决信息不完全、规模巨大、约束严苛下的实时序列生成难题。

整场报告内容翔实、逻辑严密，覆盖从底层物理仿真、序列规划到上层远程协作、人机交互的全链条技术，并前瞻性地探讨了认知机制与人因工程在智能指导系统中的重要作用。与会师生纷纷表示受益匪浅，对混合现实技术在高端装备制造领域的应用前景有了更深刻的认识，也为未来跨学科研究提供了新的思路与方向。

讲者简介

王莉莉，北京航空航天大学计算机学院教授，国家级领军人才，虚拟现实技术与系统全国重点实验室副主任，中国电子学会虚拟现实分会副主任。主要从事虚拟现实、混合现实等方面的研究。主持了国家自然科学重点项目、联合项目等国家级科研项目，获国家科技进步一等奖、国家技术发明二等奖、中国计算机学会技术发明一等奖、国家高等教育教学成果一等奖。担任IEEE TVCG等国际期刊编委，任IEEE VR 2026 程序委员会副主席， IEEE ISMAR 2026程序委员会主席。