[发明专利]图像处理方法、装置和电子设备

说明书

本发明提供了一种图像处理方法、装置和电子设备。其中，该方法包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。预先训练完成包含客观评价模型和主观评价模型的画质增强模型，将待进行画质增强的目标图像输入至画质增强模型中，画质增强模型输出画质增强图像。画质增强模型可以综合考虑客观指标和主观指标，因此，主观指标和客观指标可以同时达到理想的效果，上述方法具有良好的泛用性。

技术领域

本发明涉及深度学习的技术领域，尤其是涉及一种图像处理方法、装置和电子设备。

背景技术

随着多媒体技术的发展，网络数据呈现爆炸式增长，例如图片、视频、文字等。图像或视频作为信息传播的主要载体，在图像或视频采集、编码、传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼视觉观感，因此，在视频或图像被观看者观看之前通常会对视频或图像进行画质增强。

画质增强方法包括但不限于对比度增强、边缘增强、色彩增强、去除噪声等。现有的画质增强方法主要分为两类：一类是传统方法，如直方图均衡等算法，它们通常是针对某一具体场景或问题而设计的算法，比如去噪算法通常主要关注于图像或视频中各种噪声并加以去除，而不需要关注色彩、对比度等场景。另一类是基于深度学习的方法，其主要是从大量已标注数据中进行学习并应用到其他数据中，相比传统方法，深度学习方法泛化性更好，且可以同时对画质的多个场景和维度进行增强处理。

现有基于深度学习的画质增强方法在神经网络模型训练的过程中尽可能让神经网络模型去逼近已知高清图像，训练完成的神经网络模型一般具有较高的客观指标，例如PSNR(Peak Signal to Noise Ratio，峰值信噪比)，但是主观指标通常并不能达到较为理想的效果。也即客观指标和主观指标并不完全是正相关，客观指标高的未必主观指标就一定好。因此，现有的画质增强方法泛化性较差，主观指标和客观指标难以同时达到理想的效果。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子设备，以提高泛化性，使得主观指标和客观指标同时达到理想的效果。

第一方面，本发明实施例提供了一种图像处理方法，包括：获取目标图像；将目标图像输入预先训练完成的画质增强模型中，获得画质增强模型输出的画质增强图像；其中，画质增强模型的损失函数基于客观评价模型的损失函数和主观评价模型的损失函数确定，客观评价模型是基于图像的客观指标进行训练得到的，主观评价模型是基于图像的主观指标进行训练得到的。

在本发明较佳的实施例中，上述画质增强模型通过以下步骤训练：基于预设的图像样本集合确定当前样本和当前样本对应的标准样本；对于每一个当前样本，均执行以下训练操作：将当前样本输入至画质增强模型中，输出画质增强样本；基于画质增强样本和标准样本确定当前样本的损失值；根据当前样本的损失值调整画质增强模型的参数；当训练操作满足预设的训练结束条件时，将当前训练得到的画质增强模型确定为训练好的画质增强模型。

在本发明较佳的实施例中，上述基于画质增强样本和标准样本确定当前样本的损失值的步骤，包括：基于画质增强样本和标准样本确定主观评价模型的第一损失值；基于画质增强样本和标准样本确定客观评价模型的第二损失值；通过以下损失函数确定当前样本的损失值：Loss＝w*L0+(1-w)*LQA；其中，Loss为当前样本的损失值，w为损失函数权重，L0为第二损失值，LQA为第一损失值。