[发明专利]一种基于全景视频纬度特性的复杂度优化方法及设备

说明书

本发明涉及一种基于全景视频纬度特性的复杂度优化方法及设备，首先通过实验测得全景视频经过投影之后，在相同复杂度变化下的两侧纬度区域的率失真损失低于中间纬度区域的率失真损失；然后通过分析当前纬度区域的复杂度改变对剩余纬度区域以及整帧的率失真损失影响，建立纬度与率失真的关系，并且基于此模型提出了帧内复杂度分配的方案；最后，将帧内复杂度分配方法与已有的帧间复杂度分配方法相结合，形成一种基于全景视频纬度特性的复杂度优化方法。本发明能够有效降低全景视频编码过程中的复杂度和编码时间。

技术领域

本发明涉及全景视频处理技术领域，特别是一种基于全景视频纬度特性的复杂度优化方法及设备。

背景技术

与传统的平面视频相比，全景视频可以让用户从任何角度观看视频，从而显著提高观众的沉浸式体验。与此同时，它需要超高分辨率(4k或更高)以保证视觉体验，然而这将会导致编码复杂度和编码时间急剧增加。

发明内容

有鉴于此，本发明的目的是提出一种基于全景视频纬度特性的复杂度优化方法及设备，能够有效降低全景视频编码过程中的复杂度和编码时间。

本发明采用以下方案实现：一种基于全景视频纬度特性的复杂度优化方法，全景视频的编码方式是将球形视角的全景视频平铺展开成平面视频，在此过程中球形区域的纬度区域也就相应地展开，然后使用与平面视频相同的编码技术进行编码。本发明首先通过实验测得全景视频经过投影之后，在相同复杂度变化下的两侧纬度区域的率失真损失低于中间纬度区域的率失真损失；然后通过分析当前纬度区域的复杂度改变对剩余纬度区域以及整帧的率失真损失影响，建立纬度-率失真关系，并且提出了帧内复杂度分配的方案；最后，将帧内复杂度分配方法与已有的帧间复杂度分配方法相结合，形成一种基于全景视频纬度特性的复杂度优化方法。本发明的技术方案具体包括以下步骤：

步骤S1：设置全局复杂度为Θ，其中，全局复杂度是指选择一个0到1之间的复杂度，用于整个视频序列的编码；

步骤S2：将全局复杂度Θ根据帧间复杂度分配方案分配到每帧；

步骤S3：如果编码的当前帧是GOP的I帧或分配的复杂度为1，则通过高效视频编码的原始算法进行编码并且记录编码块在纬度上的分布信息；否则使用帧内复杂度分配方案，为每个纬度区域分配不同的复杂度进行编码；

步骤S4：在编码完当前帧后，判断当前帧是否为视频的最后一帧；若是，则结束；否则，返回步骤S3。

进一步地，步骤S2具体包括以下步骤：

步骤S21：根据已有的帧间复杂度分配方法，由Random-Access编码结构编码可以得知当第d层的率失真损失发生变化时，则会影响到别层的率失真损失的变化。由实验得知当前纬度区域的率失真损失变化ΔC_d与相邻下一纬度区域的率失真损失变化ΔC_d+1存在斜率大于0的一次方程的线性关系，如下式所示：

ΔC_d+1＝δ·ΔC_d； (1)

式中，δ表示相邻层之间的率失真损失关系的线性系数；其经验值在0.1到0.5之间，本发明优选设置为0.3。

步骤S22：根据Random-Access编码结构中编码帧之间的参考关系，除了最高层和最底层以外别层的编码帧都可以作为其上一层两帧编码帧的参考，因此通过递归调用(1)式得到Random-Access编码结构除了最底层以外的第d层率失真损失对整个GOP的总率失真损失影响的比例γ_d；分析最底层中的连续p帧(Prediction frame：前向预测编码帧)的数量确定最底层的率失真损失对整个GOP的总率失真损失影响的比例，其中γ_d的计算采用下式：

式中，M表示GOP中总的层数，d表示在Random-Access编码结构中的第d层；