[发明专利]基于注视点信息的实时VR图像过滤方法、系统和存储介质

说明书

本发明涉及基于注视点信息的实时VR图像过滤方法、系统和存储介质，包括：通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。本发明可提高图像压缩比，并可在传统VR流程基础上对图像压缩比进行深度提升，进一步降低VR对传输带宽的需求。本发明还公开了一种用于所述基于注视点信息的实时VR图像过滤系统的实施方法，以及存储介质，用于存储执行所述基于注视点信息的实时VR图像过滤方法的程序。

技术领域

本发明涉及虚拟现实VR和图像压缩领域，并特别涉及一种基于注视点信息的实时VR图像过滤方法、系统和存储介质。

背景技术

以往的VR系统包括四部分：1)VR渲染系统、2)数据传输系统、3)显示系统、4)运动反馈系统。VR渲染系统负责生成用于双眼视觉的左右眼图像。数据传输系统负责提供高速数据通道，将图像传递给显示系统。3)显示系统负责以较高的刷新率将画面更新到显示设备。显示设备提供独立的双眼视觉通道，让使用者可以体验到立体视觉。4)运动反馈系统负责捕捉使用者的运动数据，并将数据反馈到VR渲染系统，使渲染视角随着用户运动而改变。

以往的VR系统工作流程是：

1)VR渲染系统通过图形API，例如OpenGL或Direct3D将三维场景数据和渲染参数传递给显卡上的图形流水线，并渲染出的图像保存到显存中。渲染过程所使用的摄像机参数来自于VR头盔的运动反馈系统。因为是面向双目视觉，所以渲染系统交替的进行左右眼两幅图像的渲染。图像在渲染完成后还需进行透镜校正，通常是桶形校正(barreldistortion)。这是因为图像最终需要透过显示系统的透镜才能被观察到，而透镜会使平面图像出现枕形畸变(pincushion distortion)。由于枕形畸变和桶形畸变互为反函数，为了抵消枕形畸变的效果，就必须提前使图像发生桶形畸变。

2)数据传输系统获取图像的显存地址，然后将显存中的数据取出并通过高速通道传递给显示设备。在这个阶段，数据可以是经过压缩，也可以是未经压缩的。对于未经压缩的数据，通常使用HDMI或DisplayPort通道进行传输。对于经过压缩的数据，通常使用无线或有限网络进行传输，并要求显示系统具备解压缩能力。

3)显示系统包含透镜系统和具备较高刷新率的显示屏。透镜系统使用两个组独立的凸透镜将显示屏的内容放大并分别传递给使用的左眼和右眼。显示屏将左右眼图像的内容拼接在一起，显示在同一屏幕上。透镜系统会将双眼的透镜聚焦到相应的屏幕位置上。为了满足VR对刷新率的要求，显示屏通常需要具备每秒钟至少刷新90次的能力。对于经过压缩的图像，显示系统还需在进行上述工作之前完成图像解压缩。解压缩过程通常由板载解码芯片完成，其过程通常不超过5毫秒。

4)运动反馈系统主要感知使用者的头部转动和位移以及眼球的注视方向，它通常与显示系统位于同一装置中。为了降低运动到显示的延迟(motion to photon latency)，感知设备通常以较高的频率采样运动数据，例如每秒120次。采样到的运动数据使用单独的通道与VR渲染系统通信，通常是USB或网络，与图像通道相互独立。渲染系统会根据头部和眼球数据更新图形流水线的相机参数以及可见的三维对象集合，形成控制闭环。

以往技术的眼球注视信息只用于指导渲染过程进行多分辨率渲染(multipleresolution rendering)，即将一幅画面分割成多个区域，并在不同区域使用不同分辨率进行渲染。区域的划分以注视点为依据：注视点所在的区域使用最高分辨率；非注视点区域使用低分辨率。这就使低分辨率区域的着色(shading)计算量显著减少，从而增加了渲染速度。然而，多分辨率渲染存在两个问题：

1)它必须明确的作为VR渲染流水线的一个阶段，需要与VR应用程序在架构级别进行绑定。因此，未曾实现多分辨率渲染的VR应用程序，将无法在不修改架构的前提下追加此功能。