[实用新型]基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统

权利要求书

1.一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成；头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；立体眼镜携带标志点，用于立体场景观察及头部姿态跟踪；实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；作业器械携带成像传感器和位姿传感器；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标；图形工作站将作业对象三维模型或作业前作业对象图像、实时影像及作业器械姿态进行配准与融合，生成立体增强现实场景，并根据多目摄像机实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整；作业对象三维模型可根据作业对象的几何参数直接建模获得，或者通过对作业前获取的作业对象图像进行分割和三维重建获得。

2.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：利用图形工作站建立作业对象的三维模型，可根据作业对象的几何参数建立作业对象的三维模型，或者根据作业前获取的作业对象图像对其进行分割和三维重建形成作业对象的三维模型，并根据作业要求进行作业规划。

3.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械携带有成像传感器和位姿传感器。

4.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械定位单元由位姿传感器、定位单元数据采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站。

5.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：利用作业器械定位单元和图形工作站，通过对成像对象上标志点的标定，建立作业器械定位坐标系及作业前成像坐标系之间的空间变换矩阵T₁。

6.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：实时成像系统由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。

7.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系 统，其特征是：立体眼镜携带3个或3个以上的标志点。

8.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：多目摄像机由一对或多对摄像机组成，多目摄像机安装于立体显示器上；头部姿态跟踪单元利用多目摄像机和立体眼镜携带的标志点，实现对头部姿态的跟踪。

9.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业前，利用工作站建立虚拟摄像机，对作业前作业对象影像及其三维模型、作业器械三维模型及作业规划路径进行融合生成左右眼视差图像。

10.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T₁进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像，左右眼视差图像显示于显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成有景深的作业立体场景，并根据作业规划及观察到的实时作业情况对作业进行实时调整和控制。