[发明专利]用于虚拟场景的定位追踪误差校正方法及系统

说明书

本发明提供一种用于虚拟场景的定位追踪误差校正方法及系统，包括：采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度。上述方法及系统定位追踪精度高、功耗低。

技术领域

本发明涉及人机交互技术领域，更为具体地，涉及一种用于虚拟场景的定位追踪误差校正方法及系统。

背景技术

VR头戴的6DoF(三轴的旋转和三轴的平移信息)定位追踪精度在VR的沉浸式体验中影响非常重要，也是评价VR头戴式一体机性能的主要参数之一。

目前各大VR头戴式一体机厂商解决VR头戴6DoF的定位追踪主要是通过在VR头戴内置一个，或者二个及两个以上的环境捕捉追踪摄像头，和内置一个IMU9轴惯性导航传感器，通过计算机视觉技术和多传感器融合技术解决VR头戴式一体机在三维环境空间中的6DoF信息，目前常规使用的算法为VIO(visual-inertialodometry)视觉惯性里程计算法。

VIO算法主要是通过环境追踪摄像头实时捕捉外部环境的图像信息，对实时获取的图像信息进行图像特征提取检测，然后通过特征追踪信息，结合IMU惯性导航传感器信息，实时估计环境追踪摄像头的移动轨迹信息和环境追踪摄像头的姿态信息。众所周知，如果环境追踪摄像头的追踪范围和追踪距离在累计变大时，相应的追踪累计误差也会变大。比如需要追踪摄像头重新回到初始追踪位置时，VIO算法估计出的摄像头的移动轨迹信息是不能和物理的实际位置相重合，这样用户在VR场景体验时，就会发觉有场景漂移现象。

目前各大VR头戴式一体机厂商，主要通过增加各种优化方法解决诸如场景漂移问题。比如有些希望增加追踪摄像头的个数使尽可能捕捉更多的空间环境信息以此优化场景漂移问题，比如有些厂商会用到2个追踪摄像头，有些会用到3个或者甚至更多。还有一些通过一些算法上的优化，比如改进环境特征提取算法精度，还有通过改进解算摄像头移动轨迹和摄像头在空间姿态信息问题的优化算法，常规使用通过卡尔曼滤波模型算法进行摄像头移动轨迹和姿态信息估算，现在使用扩展卡尔曼滤波模型算法试图优化摄像头移动轨迹和姿态信息估算精度等一些方法；但是在有些使用场景下，VR头戴式一体机的头戴6DOF追踪精度还是不尽人意，特别是在家庭使用这样的场景下，由于家里的家具，屋里的灯光等多种因素，使其6DoF的追踪精度不能满足大多数家庭使用场景的需求。而且如果把追踪摄像头的个数增加到2个以上，对整体系统的功耗，散热，成本和结构设计等方面是个诸多挑战。

发明内容

鉴于上述问题，本发明的目的是提供一种定位追踪精度高、功耗低的用于虚拟场景的定位追踪误差校正方法及系统。

根据本发明的一个方面，提供一种用于虚拟场景的定位追踪误差校正方法，包括：

采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；

将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；

通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度，

其中，所述实时修正6DOF定位追踪精度的步骤包括：

结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；

通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；