[发明专利]一种视频的处理方法、装置、电子设备及存储介质

说明书

本公开涉及一种视频的处理方法、装置、电子设备及存储介质。所述方法包括：获取视频中图像的质量评分；根据所述质量评分，从所述图像中确定目标图像；对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。本公开实施例，不仅考虑到真实场景中低分辨率图像的噪声问题，而且还会根据视频中图像质量，有选择的对噪声进行处理，将得到的预处理视频输入视频超分辨率模型后，能够得到质量更高的高分辨率视频。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种视频的处理方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，出现了视频超分辨技术。视频超分辨技术的目的是将视频序列从低分辨率恢复到高分辨率，然后填充分辨率变化下缺失的细节。近年来，视频超分辨技术在手机拍照、医学图像、短视频等领域得到更加全面的应用。

相关技术中，提出了基于机械学习的视频超分辨率模型，用于对低分辨率的视频进行高分辨率图像恢复。然而，由于各种原因，相关技术中视频超分辨技术所恢复的视频质量不高。

发明内容

本公开提供一种视频的处理方法、装置、电子设备及存储介质，以至少解决相关技术中视频超分辨技术所恢复的视频质量不高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供包括：

获取视频中图像的质量评分；

根据所述质量评分，从所述图像中确定目标图像；

对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

在一种可能的实现方式中，所述获取视频中图像的质量评分，包括：

获取视频中的图像；

将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

在一种可能的实现方式中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：

获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取质量评分低于预设阈值的图像；

将所述质量评分低于预设阈值的图像作为目标图像。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

在一种可能的实现方式中，所述对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频，包括：

对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。