[发明专利]一种基于移动端的虚拟现实图像处理系统

说明书

本发明公开一种基于移动端的虚拟现实图像处理系统，包括：视线计算模块、多层次渲染模块以及显示模块；视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，视线区域不占满移动端的整个显示屏；多层次渲染模块对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，处理视线区域以外待播放图像的底层数据的得到底层网格数据；显示模块将多层次渲染模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像。本发明克服现有移动端虚拟现实设备刷新频率不足画面丢失、重影以及移动端虚拟设备内存不够等技术问题。

技术领域

本发明涉及虚拟现实(Virtual Reality，VR)技术领域，更具体地，涉及一种基于移动端的虚拟现实图像处理系统。

背景技术

近年来，随着虚拟现实技术的风靡，越来越多应用虚拟现实技术的产品出现，虚拟现实技术将人们从现实带到了虚拟世界。目前的虚拟现实技术的呈现，主要是体验者依靠全封闭的头戴型显示器观看电脑模拟产生的虚构世界的影像，并配有耳机、运动传感器或其他设备等，为其提供视觉、听觉、触觉等方面的感官体验，虚拟现实系统的整套设备可以根据体验者的反应做出反馈，使体验者达到身临其境的感觉。

作为应用了虚拟现实技术的VR头戴设备受到了消费者尤其是科技迷的广泛关注和追捧。目前，市面上的虚拟现实设备大多需要同终端配合使用，将安放在头戴设备中的终端作为头戴设备的显示屏。终端需要对显示画面进行虚拟现实图像处理，将二维的平面画面转变为虚拟的立体画面。在转变的过程中，为了使虚拟画面更真实，终端需要对播放的画面进行图像渲染，但是全渲染要求的运算资源十分高，观看全渲染图像的代价是帧率下降，延时提高，带来卡顿等不良的视觉感受。

在虚拟现实设备中，为了正确在虚拟世界里呈现一个人们的感知，必须要在显示器上的定时更新图像，然而如果渲染时间太长，一帧就会丢失了，产生的结果就是抖动，这是由于新的一帧图像还没有被渲染出来，显示器显示了上一帧的图像，如果一帧图像被两次渲染，就会出现重影。

因此，现有移动端虚拟现实设备刷新频率不足画面丢失，重影，以及移动端虚拟设备内存不够等问题。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有移动端虚拟现实设备刷新频率不足画面丢失，重影，以及移动端虚拟设备内存不够等技术问题。

为实现上述目的，本发明提供一种基于移动端的虚拟现实图像处理系统，包括：视线计算模块、多层次渲染模块以及显示模块；

所述视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，所述视线区域不占满所述移动端的整个显示屏；

所述多层次渲染模块用于通过累进网格算法中的点分裂算法对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，通过累进网格算法中的边折叠算法处理视线区域以外待播放图像的底层数据的得到底层网格数据；

所述显示模块用于将多层次渲染模块和中间帧模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像。

可选地，该基于移动端的虚拟现实图像处理系统还包括：中间帧模块；

所述视线计算模块用于根据摄像头实时获取的用户脸部图像信息确定用户的眼部运动数据和头部运动数据，并根据用户眼部运动数据和头部运动数据预测用户下一时刻的视线区域；在移动端播放虚拟现实视频时，若多层次渲染模块无法在规定时间内渲染完成下一帧图像，则所述中间帧模块使用动态时间帧补偿渲染，动态时间帧补偿渲染由异步时间扭曲技术和动态时间帧补偿渲染系统组成，在用户下一时刻的视线区域角度变化非常小时，利用异步时间扭曲技术可以停止渲染新的画面，由当前渲染好的单帧图像计算出各个朝向的新画面，作为下一帧并发送给所述显示模块。