[发明专利]一种基于用户视场的全景视频编码优化方法

说明书

本发明公开了一种基于用户视场的全景视频编码优化方法，包括如下步骤：(1)获取预测的FoV模式FoV(μ_i,μ_j)；(2)根据FoV(μ_i,μ_j)生成当前帧中FoV(i,j)对应的二维高斯分布概率；(3)获得tile(i,j)可能处于n×m个FoV模式的累计概率即该tile被观测的概率；(4)使用ERP格式下投影变换公式计算tile(i,j)的投影权重；(5)根据最终得到的观测概率和投影权重计算λ和QP值并进行修正；(6)利用最终得到的QP值进行编码，编码后根据获得的tile级别量化参数选择方案，进行编码。本发明充分考虑了用户观看区域的编码质量，使得最终编码效果在消耗更小比特的情况下达到更好的重建质量。

技术领域

本发明涉及全景视频编码技术领域，尤其是一种基于用户视场的全景视频编码优化方法。

背景技术

360度虚拟现实视频允许观众切换视角，为用户提供身临其境的观看体验。由于相关头戴式显示器(HMD)具有全方位的内容和放大光学镜头，360度视频具有比传统视频更高的视觉质量、分辨率和帧率，在视频编码时，此类高码率高分辨率的视频内容对编码和通信提出了挑战。例如，具有优质、每秒120帧和24k分辨率的360度视频需要每秒千兆比特的带宽。因此，需要设计一种有效的360度视频编码方案。

与传统视频不同，360度视频是以球面为表现形式。一般的，观看360度视频就像坐在一个球体的中心，佩戴HMD的用户可以在那里偏航、俯仰和滚动头部，随着头部方向的变化用户的FoV也跟随变化而为观众提供不同的内容。用户可以随时观看任意角度的视频，因为可以为用户带来沉浸式的360度观感的其独有的特性收到了市场的欢迎。

首先，在真实观看过程时，因为人眼特征及个性选择的因素大部分用户不会观看到整个全景视频的内容。由于非FoV区域的视频不会被用户观看，全景视频只需要高质量传输用户视场的视频就可以满足观看需求。

其次，在视频编码领域中，由于缺乏球域编码方法，360度视频的球域内容需要投影到二维平面上，采用传统的视频编解码器进行编码。最常用的投影方法之一是等矩形投影(ERP)。在编码后视频播放时，重构的矩形图像将被映射回球体。而在ERP投影时，对球形视频的每一条纬线上都采用相同数量的采样点，导致靠近两极的纬线存在冗余采样点，像素密度分布不均匀引入了较严重的图像拉伸，而导致编码后的视频会有较大失真。

在高效视频编码HEVC中引入了平铺块的概念，可以将视频编码成多个独立的tile(平铺块)，编码资源需要在平铺块之间进行合理分撇。现有的大部分视频编码技术主要考虑了编码过程中的空间和时间冗余，而全景视频的特点没有得到充分考虑。

发明内容

本发明所要解决的技术问题在于，提供一种基于用户视场的全景视频编码优化方法，更加充分的考虑了全景视频在编码过程中的独有特性，来进一步提高全景视频编码的重建质量。

为解决上述技术问题，本发明提供一种基于用户视场的全景视频编码优化方法，包括如下步骤：

(1)获取预测的FoV模式FoV(μ_i,μ_j)；

(2)根据FoV(μ_i,μ_j)生成当前帧中FoV(i,j)对应的二维高斯分布概率；

(3)获得tile(i,j)处于n×m个FoV模式的累计概率即该tile被观测的概率；

(4)使用ERP格式下投影变换公式计算tile(i,j)的投影权重；

(5)根据最终得到的观测概率和投影权重计算λ和QP值并进行修正；

(6)利用最终得到的QP值进行编码，编码后根据获得的tile级别量化参数选择方案，进行编码。