[发明专利]图像处理及其模型训练方法、装置及电子设备

说明书

本申请提供了一种图像处理及其模型训练方法、装置及电子设备，涉及图像处理技术领域。其中，方法包括：获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，训练样本集中的边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。本申请能够提升图像超分辨率模型或图像增强模型图像处理的视觉效果。

技术领域

本申请涉及软件图像处理技术领域，尤其是涉及一种图像处理及其模型训练方法、装置及电子设备。

背景技术

图像超分辨率技术是指由一幅低分辨率图像或图像序列恢复出高分辨率图像；图像增强技术是将视觉效果较差的图像处理为视觉效果更好的图像。现有技术中，通常采用一些神经网络进行图像超分辨率模型或图像增强模型的训练，而训练样本往往是大量成对的低分辨率图像和高分辨率图像，或者是成对的低清晰度图像和高清晰度图像；通过这些训练样本训练出的模型，其图像处理效果一般，无法达到更好的视觉效果。

发明内容

本申请的目的在于提供一种图像处理及其模型训练方法、装置及电子设备，能够提升图像超分辨率模型或图像增强模型图像处理的视觉效果。

第一方面，本申请实施例提供一种图像处理模型训练方法，该方法包括：获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，所述训练样本集中的所述边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。

在一些实施例中，上述获取训练样本集的步骤，包括：获取初始训练样本集，初始训练样本集中的样本包括：成对的低质量图像和高质量图像；针对每个样本中的低质量图像进行边缘提取，得到每个低质量图像对应的边缘图像；由每个成对的低质量图像和高质量图像，及低质量图像对应的边缘图像组成一个新样本，得到包含多个新样本的训练样本集。

在一些实施例中，上述初始网络模型包括以下之一：CNN网络模型、GAN网络模型或RNN网络模型。

在一些实施例中，上述利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型的步骤，包括：确定训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像；根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值；根据本轮训练的损失函数值对初始网络模型进行反向传播训练，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型。

在一些实施例中，上述将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像的步骤，包括：针对当前训练样本子集中的每个样本，均执行以下步骤：将样本中的低质量图像和边缘图像输入初始网络模型；利用初始网络模型提取低质量图像对应的第一特征图和边缘图像对应的第二特征图，并将第一特征图和第二特征图进行合并；通过初始网络模型根据合并后的特征图进行特征映射学习，输出样本对应的输出图像。

在一些实施例中，上述根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值的步骤，包括：根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将平均绝对误差作为本轮训练对应的损失函数值。

第二方面，本申请实施例还提供一种图像处理方法，方法应用于电子设备；电子设备中预存有通过第一方面所述的方法训练得到的图像处理模型；方法包括：获取待处理图像；将待处理图像输入图像处理模型；通过图像处理模型对待处理图像进行图像处理，得到待处理图像对应的目标图像。