[发明专利]一种适用于VR实时渲染应用的异步帧外插管线方法和系统

说明书

本发明实施例公开了一种适用于VR实时渲染应用的异步帧外插管线方法和系统，该方法包括：获取相机与图像参数信息，将画面运动拆分为相机平移运动、场景中物体运动和相机旋转运动；利用视差映射原理，对相机平移运动进行处理得到相机平移后的第一外插图像；利用相机平移运动修正算法，对场景中物体运动进行游戏引擎渲染的第一运动向量缓冲变换，得到第一外插图像对应的物体运动的第二运动向量缓冲，并利用不动点迭代方法进行帧外插得到第二外插图像；将第二外插图像进行相机旋转运动的平滑计算，得到最终目标外插图像。相对于现有技术而言，本发明的技术方案能够提高渲染画面的帧率，保证使用者的良好体验。

技术领域

本发明涉及图形渲染与虚拟现实技术领域，尤其涉及一种适用于VR实时渲染应用的异步帧外插管线方法和系统。

背景技术

随着科技的发展，头戴式VR设备逐步走近人们的生活，为了提供良好的用户体验，目前的头戴式VR设备往往拥有较高的屏幕刷新率和分辨率。然而为了能够在高分辨率下保持较高的刷新率，VR实时渲染应用对于硬件设备的要求也相对更高。如果硬件设备的渲染帧率达不到（或者跟不上）屏幕刷新率，便会导致画面延迟、抖动等问题。帧外插（frameextrapolation）是一种可以解决上述问题的技术，其考虑利用历史渲染信息来得到新的一帧，避免了复杂的着色计算来提升画面帧率。

目前，大部分VR实时渲染应用已经采用了异步时间扭曲（ATW）来减缓帧率不足对于用户带来的不良体验。ATW技术利用一个与渲染并行的线程，其在每次屏幕刷新前，从渲染缓冲队列中获取最新完成的渲染帧，并将其变换到当前相机的旋转角。使用这种技术可以很大程度减轻因为帧率不足而导致的头戴设备转动输入延迟。然而该方法并没有考虑相机的平移运动，因此当帧率不足时仍然可能感受到相机平移运动的输入延迟。

此外还有利用游戏引擎渲染的运动向量缓冲（motion vector buffer）进行帧外插的一些方法。其中以不动点迭代方法最为高效。其通过迭代的方法找到当前外插帧纹理坐标对应的前一帧中的运动向量和纹理坐标。但是该方法的效果受制于初始点的选取，如果没有选取准确的初始点，迭代可能无法收敛。

综上所述，当前现有技术中对于VR实时渲染应用，仍然缺乏一个完善的方案来通过帧外插全方位地维持用户的稳定体验，进而保障VR设备的使用效果是亟待解决的问题。

发明内容

有鉴于此，本发明实施例提出一种适用于VR实时渲染应用的异步帧外插管线方法和系统。

本发明的一实施例提出一种适用于VR实时渲染应用的异步帧外插管线方法，包括：

获取相机与图像参数信息，将画面运动拆分为相机平移运动、场景中物体运动和相机旋转运动；

利用视差映射原理，对所述相机平移运动进行处理得到相机平移后的第一外插图像；

利用相机平移运动修正算法，对所述场景中物体运动进行游戏引擎渲染的第一运动向量变换，得到所述第一外插图像对应的物体运动的第二运动向量，并利用不动点迭代方法进行帧外插得到第二外插图像；

将所述第二外插图像进行相机旋转运动的平滑计算，得到最终目标外插图像。

进一步地，在上述的一种适用于VR实时渲染应用的异步帧外插管线方法中，所述“利用视差映射原理，对所述相机平移运动进行处理得到相机平移后的第一外插图像”包括：

根据后处理着色器的第一纹理坐标计算上一时刻相机位置下的第二纹理坐标，其中，所述相机与图像参数信息包括颜色缓冲；

根据两步迭代的视差映射方法计算深度值和目标纹理坐标，并根据所述目标纹理坐标对上一帧的所述颜色缓冲进行采样生成相机平移新视点下的初步图像；

采用临近点采样的方法对所述初步图像的遮挡与边缘处进行修正，检测当前采样是否位于初步图像中物体的边界，并通过多次采样取平均值的方式对所述深度值进行修正得到第一修正深度值；