[发明专利]一种基于全景显著性的立体全景视频快速编码方法

权利要求书

1.一种基于全景显著性的立体全景视频快速编码方法，其特征在于包括以下步骤：

步骤1：将ERP投影格式的立体全景视频中当前待处理的除第1帧以外的右视点视频帧定义为当前帧；其中，当前帧的宽度为W且高度为H；

步骤2：对当前帧进行显著性计算，得到当前帧的3D-Sobel显著图；

步骤3：将当前帧中当前待处理的最大编码单元定义为当前最大编码单元；其中，当前最大编码单元的尺寸为64×64；

步骤4：判断当前最大编码单元是否为当前帧中最上侧或最左侧的最大编码单元，如果是，则采用3D-HEVC视频编码器对当前最大编码单元进行编码，再执行步骤11；否则，执行步骤5；

步骤5：计算当前帧的3D-Sobel显著图中与当前最大编码单元对应的尺寸为64×64的区域的显著性强度，记为SI_LCU；并计算当前帧的3D-Sobel显著图中与当前最大编码单元对应的尺寸为64×64的区域的全景显著性阈值，记为TH_S；然后判断SI_LCU≥TH_S是否满足，如果满足，则判定当前最大编码单元为显著块，将当前最大编码单元重新定义为当前编码单元，然后执行步骤9；如果不满足，则判定当前最大编码单元为非显著块，然后执行步骤6；

步骤6：令D_LCU(View)表示当前帧对应的左视点视频帧中与当前最大编码单元对应的已编码最大编码单元的最优递归深度均值，令D_LCU(Col)表示当前帧的前一帧右视点视频帧中与当前最大编码单元对应的已编码最大编码单元的最优递归深度均值，令D_LCU(LT)表示当前最大编码单元的已编码左上侧最大编码单元的最优递归深度均值，令D_LCU(L)表示当前最大编码单元的已编码左侧最大编码单元的最优递归深度均值，令D_LCU(T)表示当前最大编码单元的已编码上侧最大编码单元的最优递归深度均值；然后预测当前最大编码单元的递归深度区间，记为[D_min,D_max]，其中，D_min表示当前最大编码单元的最小划分深度，D_max表示当前最大编码单元的最大划分深度，min()为取最小值函数，max()为取最大值函数，符号为向下取整符号，符号为向上取整符号；

步骤7：跳转到以当前最大编码单元为根节点的四叉树结构中划分深度为D_min的CU层，采用3D-HEVC视频编码器对该CU层中的所有编码单元以深度优先遍历的方式进行编码，针对该CU层中的任一个编码单元，将其作为当前编码单元，在当前编码单元编码后先判断当前编码单元的最大划分深度是否已达到D_max或当前编码单元的最大划分深度是否已达到3，如果已达到，则继续以深度优先遍历的方式对当前编码单元的未编码的兄弟节点进行编码，直至当前编码单元的所有兄弟节点编码完成，再执行步骤11；如果未达到，则执行步骤8；

步骤8：计算当前帧的3D-Sobel显著图中与当前编码单元对应的区域的显著性强度，记为SI_CU，然后比较SI_CU与SI_LCU，如果SI_CU＞SI_LCU，则计算当前编码单元的递归深度区间，记为[D_min,D′_max]，然后令D_max＝D′_max，再返回步骤7继续执行；如果SI_CU≤SI_LCU，则计算当前编码单元的递归深度区间，记为[D_min,D″_max]，然后令D_max＝D″_max，再返回步骤7继续执行；其中，D_CU(View)表示当前帧对应的左视点视频帧中与当前编码单元对应的已编码的编码单元的最优递归深度均值，D_CU(Col)表示当前帧的前一帧右视点视频帧中与当前编码单元对应的已编码的编码单元的最优递归深度均值，D_CU(LT)表示当前编码单元的已编码左上侧编码单元的最优递归深度均值，D_CU(L)表示当前编码单元的已编码左侧编码单元的最优递归深度均值，D_CU(T)表示当前编码单元的已编码上侧编码单元的最优递归深度均值；

步骤9：利用BJND模型计算当前编码单元的感知失真均方根误差，记为MSE_Bjnd；并计算当前编码单元的统计均方根误差，记为MSE_S，再计算得到基于全景感知失真的编码单元划分阈值，记为TH_split，TH_split＝η₁MSE_S+η₂MSE_Bjnd；其中，e表示自然基数，k为斜率，取值为-2.3334，Q_step表示当前编码单元的量化步长，QP表示当前编码单元的量化参数，MSE_Col表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的均方根误差，表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的量化步长，QP_Col表示当前帧的前一帧中与当前编码单元对应的已编码的编码单元的量化参数，b表示截距，取值为6.3751，N×N表示当前编码单元的尺寸，N的值为64或32或16或8，η₁和η₂均为调节因子，η₁+η₂＝1；

步骤10：计算当前编码单元的均方根误差，记为MSE_Cur；然后比较MSE_Cur与TH_split的大小，若MSE_Cur≤TH_split，则认为当前编码单元已达到最优划分深度，不需要再进一步划分，采用3D-HEVC视频编码器对当前编码单元进行编码，再执行步骤11；若MSE_Cur＞TH_split，则跳转到以当前最大编码单元为根节点的四叉树结构中划分深度为D_min的CU层，采用3D-HEVC视频编码器对该CU层中的所有编码单元以深度优先遍历的方式进行编码，针对该CU层中的任一个编码单元，将其作为当前编码单元，然后返回步骤9继续执行，直至当前编码单元的所有兄弟节点编码完成，再执行步骤11；

步骤11：将当前帧中下一个待处理的最大编码单元作为当前最大编码单元，然后返回步骤4继续执行，直至当前帧中的所有最大编码单元均处理完毕，之后执行步骤12；

步骤12：将ERP投影格式的立体全景视频中下一帧待处理的右视点视频帧作为当前帧，然后返回步骤2继续执行，直至ERP投影格式的立体全景视频中的所有视频帧均处理完毕。