[发明专利]一种用于视频编码优化的高效强化学习训练方法

权利要求书

1.一种用于视频编码优化的高效强化学习训练方法，其特征在于：包括以下步骤，

步骤1，创建预测网络和判别网络，预测网络负责生成编码策略参数最优值；判别网络负责判别预测网络生成的预测值好坏；

步骤2，进化算法优化初始策略值，负责对训练集中的每组图像数据，生成优化的初始编码策略参数，以及编码结果评分，进化算法生成的优化编码策略参数和编码结果评分用于预测网络和判别网络的监督学习初始化网络参数；

步骤3，预测网络初始化，负责根据进化算法的编码策略参数结果进行监督学习，得到预测网络的神经网络初始化参数；

步骤4，判别网络初始化，负责根据进化算法的编码策略参数和评分值结果进行监督学习，得到判别网络的神经网络初始化参数；

步骤5，强化学习训练，负责训练生成预测网络和判别网络的最优化网络参数；

步骤6，优化利用率，强化学习训练过程中保存较好的编码策略，并在探索过程中以一定的概率进行采样，以增视频编码中强化学习的利用效率；

步骤7，优化探索率，强化学习训练一定阶段后，对模型进行随机小幅度扰动，并提高探索的范围，以增视频编码中强化学习的探索概率。

2.根据权利要求1所述的用于视频编码优化的高效强化学习训练方法，其特征在于：进化算法优化初始策略参数，

所述进化算法方法包括：遗传算法，差分进化算法，模拟退火算法，粒子群优化算法，蚁群算法，进化算法负责生成优化的编码策略参数以及编码结果评分，用于预测网络和判别网络的监督学习初始化网络参数，进化算法对每组视频图像，调用进化算法，得到对应的编码策略参数a；将编码策略参数a输入编码器，执行编码过程得到评分值R；通过R对a进行调整，迭代到指定终止条件，输出最终的a和R；

所述迭代终止条件，包括迭代次数，以及两次评分值R之差小于设定阈值T1。

3.根据权利要求1所述的用于视频编码优化的高效强化学习训练方法，其特征在于：编码结果评分，

所述编码结果评分，是在对视频编码完成之后，得到的压缩效率综合评分，包括根据码率和质量评价得到的综合评分；

所述质量评价包括全参考质量评价峰值信噪比PSNR和结构相似性指标SSIM。

4.根据权利要求1所述的用于视频编码优化的高效强化学习训练方法，其特征在于：预测网络负责决策图像分块对应的编码策略参数最优值，

所述预测网络为若干个卷积层级联的卷积神经网络，加上全连接层构成，预测网络输入为视频图像的特征值，包括原始像素值，以及编码处理过程中产生的特征值如运动矢量分布，比特数统计，帧内或帧间预测的绝对误差和SAD或者差值平方和SSE数值等，预测网络输出为编码策略参数p，预测网络在实际推断和编码过程中，用作编码器的前置模块。

5.根据权利要求1所述的用于视频编码优化的高效强化学习训练方法，其特征在于：判别网络负责判别预测网络生成的预测值好坏，

所述判别网络为若干个卷积层级联的卷积神经网络，加上全连接层构成，判别网络负责判别预测网络生成的预测值好坏，判别网络仅在训练中使用，推断中不使用，判别网络的输入为预测网络输出的编码策略参数p，以及对应的视频图像特征值；输出为判别编码策略参数好坏的实数值V。

6.根据权利要求1所述的用于视频编码优化的高效强化学习训练方法，其特征在于：预测网络初始化，

所述预测网络初始化过程，根据进化算法的结果进行监督学习，得到预测网络的初始化参数，以期在强化学习训练过程中可以更快地收敛，首先，从训练集中取出一组图像以及进化算法得到的最优编码参数a，输入到预测网络，得到一组编码参数p；通过最小化|a-p|²得到最优化的预测网络的参数θA；将θA更新到预测网络；迭代到指定终止条件；

所述迭代终止条件包括迭代次数。