[发明专利]混合视频编码标准中基于多尺度神经网络的帧内预测算法

权利要求书

1.混合视频编码标准中基于多尺度神经网络的帧内预测算法，其特征在于，所述帧内预测算法包括：

步骤一：通过基于方向的帧内预测方法或其他帧内预测方法获取当前编码块的预测值；当前编码块的尺寸为W*H，其中，W为当前编码块的宽，H为当前编码块的高；

步骤二：将步骤一获取的当前编码块的预测值与相邻的L-型重构像素拼接成更大的图像块，其中，相邻的L-型重构像素由当前编码块左边、左上以及上边的重构像素组成；所述L-型重构像素的宽度为：上边为M行、左边为N列，其中M>0,N>0；

步骤三：将步骤二获得的拼接后的图像块输入到多尺度特征提取网络获得多尺度特征；

步骤四：将步骤三得到的多尺度特征输入到复原网络中，通过使用卷积层实现图像预测块的复原，获得当前编码块更准确的预测值。

2.根据权利要求1所述帧内预测算法，其特征在于，步骤三所述获得不同尺度的特征图的具体过程包括：

第一步、将步骤二获得的拼接后的图像块输入到多尺度特征提取网络；

第二步、所述多尺度特征提取网络利用池化层对输入的图像块进行下采样，获得各种不同尺度的图像块；

第三步、将第二步获得的各种不同尺度的图像块输入到卷积块中提取每种尺度下图像块的特征图，获得多尺度特征图；

第四步、将第三步提取获得的特征图利用反卷积层分别进行上采样到与输入图像块尺寸一致的原始尺寸；

第五步、利用拼接层将所述恢复到原始尺寸后的不同尺度的特征图融合到一起形成多尺度特征。

3.根据权利要求1所述帧内预测算法，其特征在于，步骤三所述多尺度特征提取网络包括n个用于下采样的池化层、卷积块和用于上采样的反卷积层；所述池化层的数据输出端与所述卷积块的数据输入端相连；所述卷积块的数据输出端与所述反卷积块的数据输入端相连，其中，n＝1、2、3，n表示使用不同尺度特征图的个数。

4.根据权利要求2所述帧内预测算法，其特征在于，步骤三中使用平均池化层对输入的图像块进行下采样，也可以使用最大化池化层对输入的图像块进行下采样。

5.根据权利要求2所述帧内预测算法，其特征在于，步骤三中使用反卷积层对不同尺度的特征图进行上采样。

6.根据权利要求3所述帧内预测算法，其特征在于，所述卷积块包括具有两层卷积层的卷积块-2L和具有三层卷积层的卷积块-3L。

7.根据权利要求3所述帧内预测算法，其特征在于，所述卷积块包含若干个卷积层以及其他类型的网络层的组合。

8.根据权利要求3所述帧内预测算法，其特征在于，对4×4、8×8、16×16、32×32的块大小，下采样比率分别设置为1/S_i(S_i＝2ⁱ)时，i分别对应设置为0、1、2、3。

9.根据权利要求3所述帧内预测算法，其特征在于，对于W不等于H的非方形编码块，下采样比率的设置可以参考方形块的下采样比率设置，所述参考方形块为4×4、8×8、16×16和32×32。

10.根据权利要求3所述帧内预测算法，其特征在于，所述所述多尺度特征的尺度包括原始尺度、1/2尺度、1/4尺度和1/8尺度；

当所述特定尺寸包括原始尺度时，所述多尺度特征提取网络包含一个卷积块；

当所述特定尺寸包括原始尺度和1/2尺度时，所述多尺度特征提取网络包括一个池化层、两个卷积块-2L、一个卷积块-3L和一个反卷积块；

当所述特定尺寸包括原始尺度、1/2尺度和1/4尺度时，所述多尺度特征提取网络包括两个池化层、两个卷积块-2L，两个卷积块-3L和两个反卷积块；

当所述特定尺寸包括原始尺度、1/2尺度、1/4尺度和1/8尺度时，所述多尺度特征提取网络包括三个池化层、两个卷积块-2L，三个卷积块-3L和三个反卷积块。