[发明专利]VR系统中图像显示的控制方法、装置及VR头戴设备

权利要求书

1.一种VR系统中图像显示的控制方法，其特征在于，包括：

监测VR系统中图像帧的同步信号并获取原始2D图像；

在下一个同步信号到来之前的预设时间点，对传感器数据进行采样得到被跟踪对象最新的位姿信息，其中，所述位姿信息包括指示被跟踪对象旋转的信息以及指示被跟踪对象平移的信息；

将所述原始2D图像转换为对应的3D图像，根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量，

基于所述运动矢量对原始2D图像的像素点进行位置变换，并在位置变换后出现的空缺区域的像素点处进行填充，得到目标帧；

当所述下一个同步信号到来时触发所述目标帧的显示；

根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量包括：

利用3D到2D空间变换时矩阵的逆矩阵以及原始2D图像的各像素点的位置向量，计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置；

根据最新的位姿信息以及3D图像对应的位姿信息之间的偏移量，计算出3D空间中各像素点对应的新位置；

利用各像素点在3D空间中的原位置与新位置，计算得到3D图像各像素点对应的运动矢量。

2.根据权利要求1所述的方法，其特征在于，利用3D到2D空间变换时矩阵的逆矩阵，计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置包括：

获取原始2D图像的各像素点的水平位置信息、竖直位置信息以及深度信息，得到原始2D图像的各像素点的位置向量；

利用3D到2D空间变换时矩阵的逆矩阵与各像素点的位置向量，计算出原始2D图像对应的3D图像各像素点在3D空间中对应的原位置。

3.根据权利要求1所述的方法，其特征在于，基于所述运动矢量对原始2D图像的像素点进行位置变换，并在位置变换后出现的空缺区域的像素点处填充颜色，得到目标帧包括：

从原始2D图像的像素点中选取部分像素点，得到关键像素点；

对选取的各关键像素点，基于运动矢量指示的大小和方向进行位置变换，并在位置变换后出现的空缺区域的像素点处进行填充，得到目标帧。

4.根据权利要求3所述的方法，其特征在于，所述从原始2D图像的像素点中选取部分关键像素点包括：

将原始2D图像划分为多个规则的网格，并选取网格顶点对应的像素点作为关键像素点。

5.根据权利要求4所述的方法，其特征在于，所述在位置变换后出现的空缺区域的像素点处进行填充包括：

确定位置变换后网格顶点合围而成的区域中的空缺区域；

对空缺区域的像素点利用插值进行填充。

6.根据权利要求1所述的方法，其特征在于，所述对传感器数据进行采样得到被跟踪对象最新的位姿信息包括：

对VR系统的惯性测量单元IMU数据进行采样得到使用者头部最新的位姿信息。

7.一种VR系统中图像显示的控制装置，其特征在于，包括：

获取模块，用于监测VR系统中图像帧的同步信号并获取原始2D图像；

采样模块，用于在下一个同步信号到来之前的预设时间点，对传感器数据进行采样得到被跟踪对象最新的位姿信息，其中，所述位姿信息包括指示被跟踪对象旋转的信息以及指示被跟踪对象平移的信息；

矢量计算模块，用于将所述原始2D图像转换为对应的3D图像，根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量；具体的，利用3D到2D空间变换时矩阵的逆矩阵以及原始2D图像的各像素点的位置向量，计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置；根据最新的位姿信息以及3D图像对应的位姿信息之间的偏移量，计算出3D空间中各像素点对应的新位置；利用各像素点在3D空间中的原位置与新位置，计算得到3D图像各像素点对应的运动矢量；

目标帧生成模块，用于基于所述运动矢量对原始2D图像的像素点进行位置变换，并在位置变换后出现的空缺区域的像素点处进行填充，得到目标帧；

触发模块，用于当所述下一个同步信号到来时触发所述目标帧的显示。