[发明专利]色彩增强网络的训练方法及装置、色彩增强方法及装置

说明书

本公开关于一种色彩增强网络的训练方法及装置、一种色彩增强方法及装置。所述色彩增强网络的训练方法包括：获取包括训练图像和对应的目标图像的训练图像集；通过色彩增强网络生成训练图像对应的三维图像色彩映射信息；基于三维图像色彩映射信息对训练图像进行色彩映射处理，生成预测色彩增强图像；确定预测色彩增强图像和目标图像之间的纹理差异，基于纹理差异确定纹理损失；确定三维图像色彩映射信息对应预设属性的损失；基于纹理损失和三维图像色彩映射信息对应预设属性的损失，对色彩增强网络的参数进行调整，以训练所述色彩增强网络。根据本公开的色彩增强网络的训练方法及装置，可提高训练出的色彩增强网络的色彩增强效果。

技术领域

本公开涉及视频技术领域。更具体地，本公开涉及一种色彩增强网络的训练方法及装置、一种色彩增强方法及装置。

背景技术

随着深度学习逐渐在各领域取得巨大突破，图像增强任务使用深度学习也取得了很好的效果。基于深度学习的图像增强主要可以分为两大类，第一类是学习图像像素点到像素点的映射，例如构建一个生成式对抗网络来进行端到端的监督训练。但由于生成式对抗网络在复原高频信息时，会放大噪声，且进行每个像素的稠密计算，占用的显存过高，影响算法的实时性。第二类是通过网络训练得到一些映射变换的参数，通过这些参数得到变换的结果，将高分辨率的图像下采样到低分辨率，将低分辨率图像作为网络的输入，通过模型学习到双边网格的仿射变换参数，然后将参数应用在导向图上，得到变换系数，最终通过原图以及导向图变换系数，得到增强后的图像。第二类方法相较于第一类方法更加快速，因为网络仅需要预测变换的系数，而不是逐像素预测每个点的结果。相关技术存在以下问题：明显的偏色问题及清晰度较低的问题、对比度过强、色彩不真实的问题、前后帧增强后亮度不同带来的视频闪烁现象。

发明内容

本公开的示例性实施例在于提供一种色彩增强网络的训练方法及装置、一种色彩增强方法及装置，以至少解决相关技术中的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种色彩增强网络的训练方法，包括：获取训练图像集，其中，所述训练图像集包括训练图像和所述训练图像对应的目标图像；通过色彩增强网络生成所述训练图像对应的三维图像色彩映射信息；基于所述三维图像色彩映射信息对所述训练图像进行色彩映射处理，生成预测色彩增强图像；确定所述预测色彩增强图像和所述目标图像之间的纹理差异，基于所述纹理差异确定纹理损失；确定所述三维图像色彩映射信息对应预设属性的损失；基于所述纹理损失和所述三维图像色彩映射信息对应预设属性的损失，对所述色彩增强网络的参数进行调整，以训练所述色彩增强网络。

可选地，所述三维图像色彩映射信息对应预设属性的损失包括表征三维图像色彩映射信息平滑属性的损失和表征三维图像色彩映射信息单调属性的损失。

可选地，所述确定所述预测色彩增强图像和所述目标图像之间的纹理差异，可包括：分别提取所述预测色彩增强图像的纹理特征和所述目标图像的纹理特征；基于所述预测色彩增强图像的纹理特征和所述目标图像的纹理特征，确定所述纹理差异。

可选地，所述基于所述纹理差异确定纹理损失，可包括：基于所述纹理差异确定均方误差，将所述均方误差作为所述纹理损失。

可选地，所述通过所述色彩增强网络生成所述训练图像对应的三维图像色彩映射信息之前，还可包括：对所述训练图像进行下采样，得到下采样图像；对所述下采样图像进行数据增强，得到数据增强后的训练图像；基于数据增强后的训练图像对所述训练图像集进行数据归一化，并将归一化后的训练图像集作为所述训练图像集。

可选地，所述基于数据增强后的训练图像对所述训练图像集进行数据归一化，可包括：确定所述训练图像集中数据增强后的训练图像的均值和方差；基于所述均值和所述方差，将所述训练图像集中数据增强后的训练图像的分布归一化为高斯分布。

可选地，所述获取训练图像集，可包括：获取所述训练图像；对所述训练图像进行预设调整，得到所述训练图像对应的目标图像；基于所述训练图像以及所述训练图像对应的目标图像，得到所述训练图像集。