[发明专利]基于强化学习的图像处理方法及模型训练方法、装置

权利要求书

1.一种基于强化学习的图像处理模型训练方法，所述图像处理模型包括第一网络以及第二网络，其特征在于，所述方法包括：

对目标样本图像进行特征提取，得到所述目标样本图像的特征图；

将所述图像特征分别输入所述第二网络和所述第一网络，得到所述第二网络输出的所述目标样本图像中各像素点的处理方式，以及所述第一网络输出的每个像素点的图像质量的期望累积反馈信息；

利用所述处理方式对所述目标样本图像进行处理后得到优化样本图像；

比较所述目标样本图像和所述优化样本图像，得到所述目标样本图像中每个像素点的图像质量的瞬时反馈信息，其中，对每个像素点，所述瞬时反馈信息是根据全局反馈信息和局部反馈信息得到的，所述全局反馈信息用于表示所述目标样本图像的图像质量的整体反馈信息，所述局部反馈信息用于表示所述像素点处的图像颜色的反馈信息；

采用各像素点的所述期望累积反馈信息和所述瞬时反馈信息训练所述第一网络和所述第二网络。

2.根据权利要求1所述的方法，其特征在于，所述图像处理模型还包括判别器网络，且所述第二网络和所述判别器网络构成对抗网络，所述方法还包括：

将所述目标样本图像和所述优化样本图像分别输入所述判别器网络，得到与所述目标样本图像对应的第一判别结果以及与所述优化样本图像对应的第二判别结果；

所述比较所述目标样本图像和所述优化样本图像，得到所述目标样本图像中每个像素点的图像质量的瞬时反馈信息中的全局反馈信息，包括：

确定所述第一判别结果和所述第二判别结果之间的差异度作为所述全局反馈信息。

3.根据权利要求1所述的方法，其特征在于，所述目标样本图像对应有配对图像，所述比较所述目标样本图像和所述优化样本图像，得到所述目标样本图像中每个像素点的图像质量的瞬时反馈信息中的局部反馈信息，包括：

对每个像素点，获取所述目标样本图像和所述优化样本图像中所述像素点的颜色值；

对所述像素点在所述目标样本图像和所述优化样本图像中的颜色值进行比较，得到所述像素点的颜色差异度作为所述像素点的所述局部反馈信息。

4.根据权利要求2所述的方法，其特征在于，所述判别器网络的训练集中包括所述目标样本图像以及非配对图像，所述非配对图像与所述目标样本图像的图像内容不同。

5.根据权利要求1所述的方法，其特征在于，所述第一网络的目标函数为：

其中，训练目标为不断缩小值；m×n表示述目标样本图像包括的总像素点数；γ表示预设的衰减系数；表示当前时间步时第(i，j)个像素点的累计瞬时反馈信息，表示下一时间步时第(i，j)个像素点的累计瞬时反馈信息；表示当前时间步第(i，j)个像素点的所述瞬时反馈信息；表示基于当前时间步得到的第(i，j)个像素点的所述期望累积反馈信息。

6.根据权利要求1所述的方法，其特征在于，所述第二网络的目标函数为：

其中，

其中，训练目标为不断缩小变小；m×n表示所述目标样本图像包括的总像素点数；γ表示预设的衰减系数；表示当前时间步第(i,j)个像素点的累计瞬时反馈信息；表示下一时间步时第(i,j)个像素点的累计瞬时反馈信息；表示当前时间步第(i,j)个像素点的瞬时反馈信息；表示当前时间步由所述第二网络得出的第(i,j)个像素点的处理方式的选择概率；表示基于当前时间步得到的第(i,j)个像素点的所述期望累积反馈信息。

7.根据权利要求1所述的方法，其特征在于，对每个像素点，根据以下方法确定所述像素点的瞬时反馈信息：

对所述像素点的所述全局反馈信息和所述局部反馈信息进行加权求和，得到所述像素点的瞬时反馈信息。

8.根据权利要求2所述的方法，其特征在于，所述判别器网络输出的判别结果的值域为连续取值区间。

9.根据权利要求1-8中任一所述的方法，其特征在于，所述第一网络和所述第二网络符合优势动作评论模式的框架要求。