研究方向
在这里介绍我们的研究方向。
研究方向一：深度感知技术
深度感知技术主要分为对静态物体的感知，和动态物体的感知。静态感知一般是环境感知，需要将实际环境的几何、色彩等特征细节尽可能详细的展示出来；动态感知需要感知环境中实时出现的物体，如人、动物、车辆等，一般需要在设备端部署低功耗高性能的实时算法。利用深度学习与大数据的发展，以及移动端GPU的普及，可以实现高精度的静态感知，和实时动态感知（如图1）。
图1 自动驾驶-3D深度感知
主要研究内容：研究面向静态场景，如自动驾驶道路信息的低成本高效感知的系列算法；研发面向随机出现动态物体，使用结合彩色相机、毫米波雷达、大数据先验的3D感知的算法及系统。
研究方向二：城市级别大场景高保真数字化
对自然场景的高保真数字化是未来视觉成像技术发展的重要趋势，是支撑导航与人机交互、虚拟现实与增强现实（VR/AR）、在线文旅、工程设计等前沿领域应用革命性发展（如图2）。传统场景重建使用MVS的方法，存在特征点误匹配、场景中动态物体无法准确匹配、大场景存储消耗过大的问题。场景重建使用隐式表示与可微渲染，能通过反向传播优化匹配点，动静态物体分离建模，隐式存储降低内存消耗，实现高质量的沉浸场景体验。
图2 大规模场景重建
主要研究内容：面向复杂环境的高精度场景重建，研究基于无人机的自主采集与重建算法与系统，包括自主路径规划、场景理解与三维重建。
研究方向三：高保真三维数字人
对自然人的高保真数字化是数字孪生的核心任务之一，研究对真实目标重建出高保真的三维数字对象，是后续交互、生成的基础。随着彩色相机、深度相机、无人机等设备的快速更新，以及人工智能、大数据、互联网等新技术的发展，三维重建迎来了一个新的变革期。自然人的整体重建，包括外形、表情、肢体动画等，是具有挑战的任务（如图3）。使用更先进的设备与算法，融合规则引导的显式重建与数据驱动的隐式重建方法，在低成本下实现高精度的场景重建及人体重建。
图3 基于Meta human软件的高精度数字人建模
主要研究内容：面向高精度、高效率、多样化的数字人采集和重建需求，搭建球形可控光场的相机阵列高精度采集装置。
研究方向四：感知交互技术
感知交互强调与其他领域的技术协同，包括追踪定位、沉浸声场、手势追踪、眼球追踪、三维重建、机器视觉、肌电传感、语音识别、气味模拟、虚拟移动、触觉反馈、脑机接口等。面向服务机器人，基于对环境进行高精度3D重建，做到语义以及自然理解，使用相机及传感器等设备或虚拟信号搭建自然人/虚拟人的手势，动作表情，以及语音等采集装置，以捕捉自然人的输入信号，采用输入信号驱动及操控重建的高质量的数字人和仿生机器人（如图4）。
图4 机器人与环境交互
主要研究内容：研究场景重建，场景理解，自然人手势识别、姿态估计、动作理解、表情分析和语音识别技术，基于多感知设备的图像、视频、音频等多模态信号实现人类交互意图智能化分析。将研究工业生产下多模态协调的数字孪生和远程操控技术，建立“自然人-机器人”、“数字人-机器人”交互中的驱动信号与本体硬件映射及逆映射控制技术与模型系统。
研究方向五：真实感渲染及三维显示技术
真实感渲染是将三维数字内容（生产过程）呈现在终端设备（展示过程）中的核心技术。目前的主流包括注视点渲染、云端渲染、渲染专用芯片、光场渲染等。三维显示（3D）技术是显示技术的终极发展目标，而集成成像3D显示技术无需辅助设备、无需相干光源、无观看视疲劳，并且能够提供全视差、连续视点、全彩色、实时的真3D图像，被认为是最具前景的3D显示技术之一（如图5）。集成成像3D显示中的分辨率、视场角、深度范围等受到原理和器件的限制，还有待于研究改进。
图5 三维全息显示汽车模型
主要研究内容：研究基于眼球追踪的注视点渲染、注视点光学为热点的技术、基于人工智能的渲染技术及基于云网边端的协同渲染。高分辨率集成成像3D显示，2D/3D可切换的集成成像3D显示，浮空集成成像3D显示，大视场集成成像3D显示系统。