[发明专利]一种视场画面图像生成方法及装置

说明书

本发明涉及一种视场画面图像生成方法，包括接收视场画面图像的分辨率、当前视角姿态参数和全景视频图像，根据视场画面图像的分辨率、当前视角姿态参数和全景视频图像的格式，计算视场画面中每个像素对应的在全景视频图像中的坐标；根据全景视频图像中的坐标提取视场画面图像像素点所需要的插值点的值进行插值计算，生成视场画面图像。降低了处理器的负荷及功耗，同时节省带宽资源。本发明还提供了一种视场画面图像生成装置，使用硬件电路对每个像素点进行坐标转换、插值计算，保证低功耗的同时，能实现高图像质量和低显示延迟；硬件实现的视场画面图像生成装置能够直接将视场画面图像输出到显示设备，能够有效节省带宽资源和降低显示延迟。

技术领域

本发明涉及数字视频处理领域，具体涉及一种视场画面图像生成方法及装置。

背景技术

全景变换是一个将输入的全景视频图像，根据视角姿态参数，生成用户主观视场画面的过程，主要应用于VR设备。全景视频图像是一类包含了水平360度垂直180度全景信息的视频图像，目前主要有球形全景和立方体全景格式。通过VR设备以主观视角观看全景视频图像，可以为使用者提供身临其境的沉浸式体验。同时该类应用也对VR设备的图像渲染质量、帧率以及显示延迟提出了更高的要求。

现有的全景变换基本采用软件调用GPU渲染的解决方案，其处理流程如图1所示。全景视频图像由视频解码单元录入存储器中，GPU读取存储器中全景视频图像数据进行处理。在GPU内部处理流程中，先根据输入视频图像的格式选择三维模型的类型(三维建模)；并将全景视频图像作为纹理与三维模型几何网格一一对应(纹理化)；再根据惯性测量单元提供的视角姿态参数对模型进行三维旋转变换以及二维投影变换(矩阵变换)；最后通过插值、渲染输出用户视场图像(光栅化)。GPU输出的视频图像将写回存储器，由视频显示单元读取并输出到显示设备上，完成视场图像的显示。

全景视频图像分辨率一般较高，对图像显示质量和速度有较高要求。现有技术中，GPU利用三维建模将视频图像分解为多个几何网格进行处理，建模的精细程度决定着图像质量和运算量。建模不够精细将导致图像质量下降、拼接痕迹明显等问题，而更精细的建模又会使运算量和功耗成倍增加，影响VR设备整体的性能。而且GPU作为通用的图像处理器，其工作方式决定了其不能将直接将结果输出到显示设备，而必须先将结果写回存储器，由图像显示单元读取并输出到显示设备上，不但消耗了带宽资源，而且增加了显示时延。

发明内容

本发明针对现有技术的上述缺陷，提供一种视场画面图像生成方法，克服现有技术建模不够精细导致图像质量下降、带宽消耗大，显示时延的缺陷。

本发明解决其技术问题所采用的技术方案是：提供一种视场画面图像生成方法，包括：步骤一，接收视场画面的分辨率、当前视角姿态参数和全景视频图像，根据所示视场画面的分辨率、所述当前视角姿态参数和所述全景视频图像的格式，计算视场画面中每个像素点对应的在所述全景视频图像中的坐标；步骤二，根据所述全景视频图像中的坐标提取视场画面图像像素点所需要的插值点的值进行插值计算，以生成视场画面图像。

所述步骤一中的计算视场画面中每个像素对应的在所述全景视频图像中的坐标包括：

根据所述视场画面的分辨率将所述视场画面的坐标转换为空间直角坐标；

根据所述当前视角姿态参数计算旋转矩阵；

根据所述空间直角坐标和所述旋转矩阵计算旋转后的空间直角坐标；

根据所述旋转后的空间直角坐标和所述全景视频图像的格式计算所述视场画面中每个像素点对应的在所述全景视频图像中的坐标。

所述当前视角姿态参数是四元数、欧拉角或旋转矩阵。

所述全景视频图像的格式是球形全景和立方体全景。

所述步骤二包括：根据双线性插值或双三次插值算法对所述全景视频图像中的插值点的值进行插值计算，以生成所述视场画面图像。