[实用新型]基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统

摘要

本实用新型公开了基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械及其跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成；实时成像系统获取作业对象的实时影像；图形工作站将作业对象三维模型或作业前作业对象图像、实时影像及作业器械姿态进行配准与融合，生成立体增强现实场景，并根据实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整，从而有利于作业立体场景观察及作业器械操控，提高作业者认知能力及作业质量和效率。

主权项

一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成；头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；立体眼镜携带标志点，用于立体场景观察及头部姿态跟踪；实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；作业器械携带成像传感器和位姿传感器；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标；图形工作站将作业对象三维模型或作业前作业对象图像、实时影像及作业器械姿态进行配准与融合，生成立体增强现实场景，并根据多目摄像机实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整；作业对象三维模型可根据作业对象的几何参数直接建模获得，或者通过对作业前获取的作业对象图像进行分割和三维重建获得。