[发明专利]实时六自由度VR/AR/MR设备定位方法

说明书

本发明公开了一种实时六自由度VR/AR/MR设备定位方法，包括先计算六自由度定位方案，其特征在于六自由度定位方案在t时刻计算出相机的位姿Pose(t)，此时画面有渲染需求就直接应用Pose(t)；由于六自由度定位方案的复杂性，下一个位姿Pose(t+1)和t时刻隔的时间比较长，中间画面又有渲染需求时，将Pose(t)和IMU旋转矩阵R_IMU进行一次融合，将得到的结果直接应用于渲染，以达到实时渲染的要求。本发明在传统六自由度方案的基础上加上IMU，IMU模组便宜轻便，成本不高，并且IMU的融合算法对CPU性能消耗很小，容易加入原六自由度方案。最终实现了具备实时性的六自由度定位方案。

技术领域

本发明涉及图像处理领域，具体是一种实时六自由度VR/AR/MR设备定位方法。

背景技术

三自由度定位方案：使用IMU数据，计算出设备在三个轴向上的旋转的技术，一种最简易的方法是通过IMU中的陀螺仪数据，对时间做积分，将所得的结果应用到VR设备上。

六自由度定位方案：现有的方案一般是使用摄像头，通过图像处理技术，同时得到设备在三个轴向上的旋转和三个方向上的位移。

目前的VR设备只能支持三自由度的定位，VR设备显示的画面只有三个方向的旋转，用户在空间中的位移无法被反映在画面上，三自由度定位的沉浸感不足。AR/MR设备为了实现六自由度的定位，一般是借助摄像头的图像处理的方法来计算用户的位移，而图像处理由于计算量和摄像头硬件限制，计算一次姿态的时间一般远远大于16毫秒，往往不能达到使画面流畅所需要的60FPS的要求，无法实时定位。

发明内容

本发明的目的在于提出一种六自由度定位方案，能比较精确地计算出用户的姿态，同时满足至少60FPS渲染要求的计算速度。

技术方案：

一种实时六自由度VR/AR/MR设备定位方法，包括先计算六自由度定位方案，六自由度定位方案在t时刻计算出相机的位姿Pose(t)，此时画面有渲染需求就直接应用Pose(t)；由于六自由度定位方案的复杂性，下一个位姿Pose(t+1)和t时刻隔的时间比较长，中间画面又有渲染需求时，将Pose(t)和IMU旋转矩阵R_IMU进行一次融合，将得到的结果直接应用于渲染，以达到实时渲染的要求；

其中，Pose(t)和IMU的融合结果Pose_IMU(t)^T按照以下公式计算：

Pose_IMU(t)^T＝R_IMU*Pose(t)^T

式中，R_IMU为4*4的齐次矩阵，是IMU计算出的旋转矩阵。

具体的，所述六自由度定位方案使用SLAM算法或PTAM算法计算。

优选的，SLAM算法计算步骤为：

S101：相机标定，目标在于得到相机的内参矩阵：

其中，fx和fy为相机的焦距，x_o，y_o为主点坐标，s为坐标轴倾斜参数；

S102：定位，相机标定好以后，根据相机拍到的画面，求解出相机的位姿；

S103：地图重建，将相机拍到的画面转换成点云，并通过点云拼接的方法，将周围的环境以点云的形式重新表示出来；

S104：回环检测，由于定位计算的结果跟真实的相机位姿有偏差，短时间内偏差较小，时间长以后会存在累积误差，计算出的姿态跟真实的位姿差别较大，通过回环检测，当相机拍摄到的画面和之前重复时，可矫正相机位姿；