[发明专利]一种基于生成对抗网络的帧内预测方法

权利要求书

1.一种基于生成对抗网络的帧内预测方法，其特征在于，包括以下步骤：

S1：采集原始视频帧图像并进行重采样处理，将重采样处理后的图像和原始视频帧图像共同组成图像数据集；

S2：将图像数据集中的图像转化为YUV格式，并对格式转化后的图像进行尺寸裁剪处理得到训练数据集；

S3：将训练数据集的图像作为生成对抗网络的输入，以对抗学习的方式训练生成对抗网络；

S4：将训练后的生成对抗网络的生成器部分嵌入HEVC参考软件中；

S5：在HEVC参考软件中对任一待编码块，先判断其左上方的图像块是否已经解码重构，若未解码重构则，则跳过基于生成对抗网络的帧内预测模式，若已解码重构，则将重构后的参考像素块作为预测参考块；

S6：将预测参考块作为预测上下文图像输入到训练后的生成对抗网络中，生成对抗网络输出待编码块的预测值，并使用HEVC编码标准的帧内预测模式得到预测结果，比较生成对抗网络的帧内预测模式与HEVC编码标准的帧内预测模式的率失真代价，选出最优帧内预测模式；

S7：根据最优帧内预测模式在码流中生成一预测模式标志位，然后并按照原HEVC标准编码方式继续编码。

2.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，步骤S1中所述的重采样处理是将原始视频帧图像的分辨率大于预设值的图像采用基于区域像素关系的重采样方法将其下采样缩放至原始像素尺寸的1/2(可选择的)。

3.根据权利要求2所述的一种基于生成对抗网络的帧内预测方法，其特征在于，分辨率预设值为1000*1000。

4.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，步骤S2中所述的尺寸裁剪包括两种规格图像块即：24*24的图像块，40*40的图像块。

5.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，所述生成对抗网络包括生成器和判别器，其中生成器为一个卷积网络，所述判别器包括：局部判别器和全局判别器。

6.根据权利要求5所述的一种基于生成对抗网络的帧内预测方法，其特征在于，所述卷积网络包括两个部分：粗糙网络和精细网络，所述粗糙网络以参考块图像为输入，输出为一个初步的待编码块的预测值；所述精细网络将参考块图像和和粗糙网络的输出作为其输入，最终得到当前待编码块的精确预测值；

所述判别器包括：局部判别器和全局判别器，所述局部判别器只以生成器最终输出的当前待编码块的预测值作为输入，判别器仅确保生成的预测值在局部保持一致性；所述全局判别器以参考块图像和生成器最终输出的当前待编码块的预测值一并作为输入，判别器评估其是否具有整体一致性。

7.根据权利要求5所述的一种基于生成对抗网络的帧内预测方法，其特征在于，在生成对抗网络训练阶段，生成对抗网络的生成器与判别器的训练需每K次交替进行，互相博弈学习，其中K为正整数；在用于视频帧内的预测推理阶段，只需生成器生成待编码块的预测值。

8.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，所述比较生成对抗网络的帧内预测模式与HEVC编码标准的帧内预测模式的率失真代价，具体为：

分别计算使用HEVC编码标准的帧内预测模式和使用生成对抗网络帧内预测模式生成当前待编码块的预测值与实际值的残差和码率代价大小；

若HEVC编码标准的帧内预测模式对应的率失真代价大于生成对抗网络帧内预测模式对应的率失真代价，则最优帧内预测模式为生成对抗网络帧内预测模式，并在码流中生成一预测模式标志位1；

若HEVC编码标准的帧内预测模式对应的率失真代价小于或等于生成对抗网络帧内预测模式对应的率失真代价，则最优帧内预测模式为HEVC编码标准的帧内预测模式，并在码流中生成一预测模式标志位0。