[实用新型]基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统

说明书

技术领域

本发明涉及图像处理领域，确切地说是涉及基于实时跟踪和自适应动态立体增强现实作业导航系统，为精确作业提供高质、高效的手段。

背景技术

传统的作业导航利用工作站在二维显示屏上显示三维作业场景，缺乏景深信息、实时影像信息及便利的人机交互能力，作业用户需要通过想象建立三维作业场景，难以对作业器械进行灵活有效的控制，不利于精确高效作业。

发明内容

本发明提供一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可使得作业高质量、高效率完成。

本发明采取了以下的技术方案：一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。所述头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；所述多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；所述立体眼镜携带3个或3个以上的标志点，用于立体场景观察及头部姿态跟踪；所述实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；所述作业器械携带成像传感器和位姿传感器；所述作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标。

所述头部姿态跟踪单元由多目摄像机、携带标志点的立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态。立体眼镜携带3个或3个以上的标志点；多目摄像机由一对或多对摄像机组成，多目摄像机安装于显示器上，用来跟踪立体眼镜上的标志点；头部姿态信号采集和处理模块对多目摄像机跟踪立体眼镜上标志点获得的信息进行分析和处理，获得作业用户的头部姿态。

所述立体眼镜携带3个或3个以上的标志点，作业用户利用它观察显示屏上的左右眼视差图像，从而在人脑中形成具有景深的作业立体场景；同时，立体眼镜携带的标志点也被用于头部姿态的实时跟踪。

所述实时成像单元由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。

所述作业器械携带有成像传感器和位姿传感器，用于作业、实时影像信息及位姿信息获取。

所述作业器械跟踪定位单元由位姿传感器、定位单元信号采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站；作业前，通过标定操作获得作业前作业对象成像坐标系与作业器械跟踪定位坐标系之间的空间变换矩阵T₁。

所述图形工作站通过对多源信息(作业前影像及其三维模型、作业规划路径、作业姿态、实时影像、实际作业路径等)进行融合，利用虚拟摄像机产生左右眼视差图像并显示在显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成具有景深的作业立体场景，并根据作业规划及观察到的实时作业场景对作业器械进行实时调整和控制。作业前，根据作业对象的几何结构或者断层成像数据，利用图形工作站进行三维建模及作业路径规划，并建立虚拟摄像机，对作业对象三维模型、作业规划路径进行融合生成左右眼视差图像；作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T₁进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像。

与现有技术相比，本发明具有如下有益效果：

本发明通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示形成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可有效提高作业质量与效率。

附图说明

图1为实时跟踪自适应动态立体增强现实导航系统原理图

具体实施方式