[发明专利]VR系统中图像显示的控制方法、装置及VR头戴设备

说明书

本发明公开了一种VR系统中图像显示的控制方法、装置及VR头戴设备，方法包括：监测VR系统中图像帧的同步信号并获取原始2D图像；在下一个同步信号到来之前的预设时间点，对传感器数据进行采样得到被跟踪对象最新的位姿信息，将原始2D图像转换为对应的3D图像，根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量，基于运动矢量对原始2D图像的像素点进行位置变换，并在位置变换后出现的空缺区域的像素点处进行填充，得到目标帧；当下一个同步信号到来时触发目标帧的显示。本发明实施例扩展了Timewarp算法适用的场景，增强了图像的真实感，提高了图像显示效果。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种VR系统中图像显示的控制方法、装置及VR头戴设备。

背景技术

VR头戴设备(Head Mounted Display，简称HMD)是通过姿态传感器实时连续跟踪用户的头部位姿，然后利用位姿信息从虚拟的3D世界中渲染出两幅2D图像，分别为左眼与右眼应当看到的画面，并将这两幅图像显示到屏幕上，用户的视网膜接收到图像内容后，大脑的内建机制会解析出立体感，从而实现VR(Virtual Reality，虚拟现实)效果。在整个过程中，一个核心指标是系统延迟，系统延迟是指从取得用户头部位姿开始，到渲染出的画面完全呈现在屏幕上为止的时间长度。过长的系统延迟会导致用户的生理感官与眼睛接收到的画面不符，产生晕动症症状。

在现代的硬件和软件系统中，3D渲染的流程为流水线式设计，参见图1，从第一帧开始，输入的数据帧U1至U4(仅作示例)流经中央处理器CPU1和CPU2的多个线程以及GPU(Graphics Processing Unit，图形处理器)和屏幕，最终经过屏幕扫描在屏幕上产生一个输出。流水线式的设计提高了各组件的利用率，确保了较高的吞吐量，与此同时，也带来了较高的系统延迟，参见图1，从对IMU采样得到当前姿态到第一帧在屏幕上显示发出的光子被用户观察到，一个典型的面向吞吐量的渲染过程，带来的系统延迟(Motion to Photonlatency)至少有四个屏幕刷新周期，而在刷新频率为90Hz的屏幕上，将耗时44.4毫秒，远超过人体生理上能够容忍的极限18毫秒。

针对此问题，有一种时间扭曲Timewarp算法，被用来扭曲(例如，位移、旋转、调整或重投影)图像帧，以校正在渲染帧之后发生的头部运动或平移，由此降低系统延迟，但目前Timewarp算法出于简单起见，仅针对3自由度(3DOF)位姿的图像进行处理并且Timewarp算法处理后图像真实感不足，不能满足实际需求。

发明内容

本发明提供了一种VR系统中图像显示的控制方法、装置及VR头戴设备，扩展了Timewarp算法适用的场景，使其可应用于6自由度位姿的图像显示控制中并增强了图像的真实感，提高了图像显示效果。

根据本申请的一个方面，提供了一种VR系统中图像显示的控制方法，包括：

监测VR系统中图像帧的同步信号并获取原始2D图像；

在下一个同步信号到来之前的预设时间点，对传感器数据进行采样得到被跟踪对象最新的位姿信息，其中，所述位姿信息包括指示被跟踪对象旋转的信息以及指示被跟踪对象平移的信息；

将所述原始2D图像转换为对应的3D图像，根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量，

基于所述运动矢量对原始2D图像的像素点进行位置变换，并在位置变换后出现的空缺区域的像素点处进行填充，得到目标帧；

当所述下一个同步信号到来时触发所述目标帧的显示。

可选地，根据最新的位姿信息以及3D图像对应的位姿信息计算3D图像的各像素点对应的运动矢量包括：

利用3D到2D空间变换时矩阵的逆矩阵，计算原始2D图像对应的3D图像各像素点在3D空间中对应的原位置；