[发明专利]一种基于移动端的虚拟现实图像处理系统

权利要求书

1.一种基于移动端的虚拟现实图像处理系统，其特征在于，包括：视线计算模块、多层次渲染模块、显示模块以及中间帧模块；

所述视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，所述视线区域不占满所述移动端的整个显示屏；

所述多层次渲染模块用于通过累进网格算法中的点分裂算法对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，通过累进网格算法中的边折叠算法处理视线区域以外待播放图像的底层数据得到底层网格数据；

所述显示模块用于将多层次渲染模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像；

所述视线计算模块还用于根据摄像头实时获取的用户脸部图像信息确定用户的眼部运动数据和头部运动数据，并根据用户眼部运动数据和头部运动数据预测用户下一时刻的视线区域；

在移动端播放虚拟现实视频时，若所述多层次渲染模块无法在规定时间内渲染完成下一帧图像，则所述中间帧模块使用动态时间帧补偿渲染，动态时间帧补偿渲染由异步时间扭曲技术和动态时间帧补偿渲染系统组成，在用户下一时刻的视线区域角度变化非常小时，利用异步时间扭曲技术停止渲染新的画面，由当前渲染好的单帧图像计算出各个朝向的新画面，作为下一帧并发送给所述显示模块。

2.根据权利要求1所述的基于移动端的虚拟现实图像处理系统，其特征在于，还包括：同步控制模块；

所述同步控制模块，用于控制中间帧模块、多层次渲染模块以及显示模块同步，在中间帧模块计算出各个朝向的新画面作为下一帧时，采用同步信号控制显示模块获取中间帧模块中的帧进行显示。

3.根据权利要求1所述的基于移动端的虚拟现实图像处理系统，其特征在于，所述显示模块利用摄像头拍摄的用户的脸部图像确定用户的运动信息，根据用户在运动时头部和眼部的关系，从移动端陀螺仪中获取的四元数计算用户左右眼的中心视角矩阵，通过左右眼的中心视角矩阵计算出左眼和右眼的中心偏移矩阵，并且通过偏移矩阵和头部的旋转矩阵可以得到左右眼的转换矩阵，根据左右眼的转换矩阵计算得到左右眼视角矩阵，通过左右眼视角矩阵对多层次渲染模块和中间帧模块发送的图像进行分屏变换后显示给用户。

4.根据权利要求1所述的基于移动端的虚拟现实图像处理系统，其特征在于，所述视线计算模块采用Viola-Jones算法获取用户脸部图像中人眼位置，并采用以下步骤确定定位瞳孔的位置：

随机选取人眼中不在同一条直线上的四个点，使用其中的三个点来确定一个圆的方程，第四个点代入到圆方程中来判断该圆是不是候选圆，如果是候选圆，再选取其他点来进行投票，通过最后的投票结果来判断是不是圆，假设使用四个点中的三个点确定的圆为C₁₂₃，圆心和半径分别为(a₁₂₃,b₁₂₃)，r₁₂₃，可以根据第四个点到圆心的距离来判断圆是不是候选圆：

其中d_4→123表示第四个点到圆心的距离，(x₄，y₄)表示第四个点的坐标；

将检测圆的直径限制在9mm到18mm之间，当检测到的圆的个数达到两个时就结束检测；

根据检测到的两个圆获取左右瞳孔的中心坐标点(x_L,y_L)和(x_R,y_R)；

确定左眼瞳孔的中心点(x_L,y_L)距离左眼眼眶的右侧水平距离d_L，右侧瞳孔中心点(x_R,y_R)距离右眼眼眶的左侧水平距离d_R，预设距离差Δx，若|d_L-d_R|＜＝Δx，则用户视线区域位于移动端屏幕的中间区域，若d_L-d_R＞Δx，此时左右瞳孔都离左侧眼眶近，则用户视线区域位于移动端屏幕的左边区域，若d_R-d_L＞Δx，则用户视线区域位于移动端屏幕的右边区域。