[发明专利]一种基于机器学习的超分辨率方法、介质及设备

说明书

本发明提供一种基于机器学习的超分辨率方法、介质及系统，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性；根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。根据本发明所述基于机器学习的超分辨率方法，能够将压缩噪声去除和图像超分辨率重建通过一步实现，从而提升超分辨率获得的图像质量。

技术领域

本发明属于图像的增强领域，涉及一种超分辨率方法，特别是涉及一种基于机器学习的超分辨率方法、介质及系统。

背景技术

受到传输带宽的限制，常见的互联网视频一般具有较小的分辨率和较低的码率。当这些互联网视频显示在大屏幕上时，对小分辨率画面进行普通的差值放大会导致边缘锯齿、细节模糊等问题，通常需要超分辨率来减少放大导致的高频丢失。图像超分辨率(superresolution,SR)是指由低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution，HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。传统的超分辨率算法通常包括基于差值和基于学习的方式，例如SRCNN(Super-Resolution Convolutional Neural Network，超分辨率卷积神经网络)、DRRN(Deep Recursive Residual Network，深递归残差网络)、SRGAN(Single Image Super-Resolution Using a Generative Adversarial Network，基于生成性对抗网络的单图像超分辨率)。

然而，低分辨率的压缩视频一般存在细节模糊、块效应、振铃噪声、蚊虫噪声等画质问题。如果对画面直接进行超分辨率和细节增强，在补充因放大导致丢失的高频细节的同时，噪声也可能被当作细节而补充，致使无法通过后续的去噪声模块理想滤除。如果先进行去噪则部分细节被当作噪声被滤除，致使后续超分辨率很难恢复更多细节。因此，无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率的效果不理想。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器学习的超分辨率方法、介质及系统，用于解决现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。

为实现上述目的及其他相关目的，本发明提供一种基于机器学习的超分辨率方法，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性；根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，结合视频图像的噪声统计特性选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。

于本发明的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：对所述视频图像进行噪声估计，获取对应的噪声等级分布图；将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维拼接图像；将所述高维拼接图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。

于本发明的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第一训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像对应的高维拼接图像以及对应的无压缩噪声的高分辨率图像；利用所述第一训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。