[发明专利]用于图像超分辨率、图像增强及模型训练的方法及装置

说明书

本公开提供用于图像超分辨率、图像增强及卷积神经网络(CNN)模型训练的方法及图像处理装置。用于图像超分辨率的方法包括以下步骤。接收原始图像，以及从原始图像提取特征图。将原始图像切割成原始子图像块。根据特征图分别将每个原始子图像块分类到子图像块集群中的一个子图像块集群中。由不同的经预先训练的卷积神经网络模型根据原始子图像块所属于的子图像块集群来分别处理原始子图像块，以获得预测子图像块。基于预测子图像块产生预测图像。

技术领域

本公开涉及用于图像超分辨率、图像增强及卷积神经网络(CNN)模型训练的方法及图像处理装置。

背景技术

单图像超分辨率(Single image super resolution，SISR)是一个逆问题，其目的在于恢复图像由于降采样过程而丢失的高频细节。在学术界及工业界，SISR一直受到极大关注。最近，基于学习的方法已显示出巨大潜力。

发明内容

本公开提出用于图像超分辨率、图像增强及卷积神经网络(convolutionalneural network，CNN)模型训练的方法及图像处理装置。

根据其中一个示范性实施例，用于图像超分辨率的方法包括以下步骤。接收原始图像，以及从所述原始图像提取特征图。将所述原始图像分割成原始子图像块。根据所述特征图分别将所述原始子图像块分类到子图像块集群中的一个子图像块集群中。根据所述原始子图像块所属于的所述子图像块集群，由不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块，以获得预测子图像块。基于所述预测子图像块产生预测图像。

根据其中一个示范性实施例，所述用于卷积神经网络模型训练的方法包括以下步骤。接收高分辨率训练图像，以及对所述高分辨率训练图像进行降采样(down-sample)，以产生分别与所述高分辨率训练图像对应的低分辨率训练图像。从所述低分辨率训练图像提取特征图。将所述低分辨率训练图像及所述高分辨率训练图像切割成低分辨率训练子图像块及高分辨率训练子图像块。根据所述特征图将所述低分辨率子图像块与高分辨率子图像块对分类到子图像块集群中的一个子图像块集群中。使用所述子图像块集群的所有所述低分辨率子图像块与高分辨率子图像块对来学习卷积神经网络模型的映射函数，以产生对应的所述卷积神经网络模型。

根据其中一个示范性实施例，所述用于图像增强的方法包括以下步骤。接收原始图像，以及将所述原始图像分割成原始子图像块。由不同的经预先训练的卷积神经网络模型基于与所述原始子图像块对应的特征信息来分别处理所述原始子图像块，以获得多个增强的子图像块。基于所述增强的子图像块产生增强的图像。

根据其中一个示范性实施例，所述用于卷积神经网络模型训练的方法包括以下步骤。接收高品质训练图像，以及将所述高品质训练图像降级，以产生分别与所述高品质训练图像对应的低品质训练图像。将所述低品质训练图像及所述高品质训练图像切割成低品质训练子图像块及高品质训练子图像块。使用所述低品质训练子图像块及所述高品质训练子图像块来学习卷积神经网络模型的映射函数，以产生对应的经预先训练的卷积神经网络模型。

根据其中一个示范性实施例，所述图像处理装置包括存储器电路以及处理电路。所述存储器电路被配置成存储数据及经预先训练的卷积神经网络模型。所述处理电路被配置成：接收原始图像；从所述原始图像提取特征图；将所述原始图像切割成原始子图像块；根据所述特征图将所述原始子图像块分类到子图像块集群中的一个子图像块集群中；根据所述原始子图像块所属于的所述子图像块集群，由所述不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块，以获得预测子图像块；以及基于所述预测子图像块产生所述预测图像。