[发明专利]虚拟现实的图形渲染方法和装置

说明书

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实的图形渲染方法和装置。

背景技术

现有的虚拟现实(简称VR)设备需要支持的显示分辨率要求越来越高，从1k，2k到4k，未来甚至需要支持8k，16k的屏幕分辨率，以消除显示的纱窗效应，增强虚拟环境下的显示效果的真实性。但是另一个方面，越来越高的显示分辨率，对VR设备的图形处理单元(简称GPU)的3D图形渲染能力也提出越来越大的挑战。当GPU性能不足时，图形渲染质量与图形渲染输出帧率之间则需要进行妥协，要么降低图形渲染的画质要求，要么降低渲染输出帧率。而对于VR应用场景来说，输出帧率是一个关键指标，当输出帧率不足时会导致用户眩晕。另一方面即使GPU性能足够，因为图形渲染的计算负载很重，这会导致VR设备电流消耗较大，并产生持续发热的问题。

因此，对VR产品设计中的主动与被动散热等设计提出较高要求，有效降低GPU的渲染工作量成为解决上述各方面问题的一个重要方向。

发明内容

为了解决上述问题，本申请提供一种虚拟现实的图形渲染方法和装置，可以减少图形渲染的计算量，提高图形渲染的输出帧率。

本申请提供一种虚拟现实的图形渲染方法，包括：

根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；

根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；

将第一图像和第二图像合成为第三图像。

可选地，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。

可选地，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。

可选地，根据获取的人眼注视点在显示屏上的人眼注视点位置信息，按照第二角度分辨率生成与所述人眼注视点位置对应的第二图像，包括：

根据人眼注视点位置信息，结合头戴式虚拟现实设备的方向信息，确定人眼注视点方向信息；

根据人眼注视点位置信息和人眼注视点方向信息，按照第二角度分辨率生成与所述人眼注视点位置信息和人眼注视点方向信息对应的第二图像。

可选地，将第一图像和第二图像合成为第三图像，包括：

通过插值方法将第一图像的分辨率重建为与显示屏的分辨率相同；

根据人眼注视点位置信息，将第二图像覆盖到高分辨率重建后的第一图像中的与人眼注视点位置信息相对应的位置，得到第三图像；

对第三图像的拼接边界进行平滑融合处理。

可选地，将第一图像的低分辨率重建为与显示屏的分辨率相同的高分辨率，包括：

对低分辨率的第一图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；

构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；

对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；

利用Dl和低分辨率的第一图像2倍上采样的图像对应的特征图像来求解稀疏系数；

通过稀疏系数和Dh，求解低分辨率的第一图像3倍上采样的图像，即Y分量；

将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了高分辨率重建后的第一图像。

可选地，对第三图像的拼接边界进行平滑融合处理，包括：

利用公式加权平滑公式Y＝Y1*(1-d)+Y2*d，将第三图像的拼接边界处的YUV颜色编码数据平滑处理到整个图像YUV颜色编码数据，其中，Y1和Y 2分别是拼接边界处相邻图像YUV颜色编码数据的值，Y是拼接边界处重叠后的图像YUV颜色编码数据的值，d为权值；