[发明专利]一种图像超分网络的训练方法及装置

说明书

本申请提供一种图像超分网络的训练方法及装置，先获取包括成对的第一低清图像和高清图像的第一训练数据，然后利用训练好的自编码网络，获取第一低清图像对应的编码信息，最后，以第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以编码信息作为先验信息，训练所述图像超分网络。由于编码信息包括了第一低清图像中不同区域对应的编码，因此，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。

技术领域

本申请属于机器学习领域，尤其涉及一种图像超分网络的训练方法及装置。

背景技术

图像超分辨率重建，简称图像超分辨率(super resolution)，也称图像超分(SR)，是指利用图像处理方法将低清图像(low resolution，LR)重建为高清图像(highresolution，HR)的一种图像处理技术。

图像超分网络是一种用于实现图像超分的网络模型。一般来说，图像超分网络可以基于已知的图像退化模式训练得到，例如：采用经过下采样这种图像退化模式得到的低清图像，训练图像超分网络。另外，图像超分网络还可以基于构建的模拟图像数据训练得到，例如：通过传统学习多种图像退化模式(包括下采样、高斯噪声、运动模糊、失焦模糊等等)，训练图像超分网络；又例如，通过深度学习多种图像退化模式，训练图像超分网络。

以上两种实现方式，都是假设图像全局都基于某种固定的退化模式进行训练的，然而真实数据中的不同区域的退化模式是多变的，因此，上述两种训练图像超分网络的实现方式都无法实现针对图像的不同区域的不同退化模式的高清图像重建。

发明内容

本申请提供一种图像超分网络的训练方法及装置，以解决现有训练图像超分网络的实现方式都无法实现针对图像的不同区域的不同退化模式的高清图像重建的问题。

第一方面，本申请提供一种图像超分网络的训练方法，包括：获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像；利用训练好的自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码；以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；其中，以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。

这样，由于编码信息包括了第一低清图像中不同区域对应的编码，因此，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。

一种可实现方式中，所述以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为所述图像超分网络的先验信息，训练所述图像超分网络，包括：利用第一卷积层，对所述第一低清图像进行特征提取，得到第一特征；以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，得到第二特征；利用上采样模块，对所述第二特征进行上采样操作，得到第三特征；利用第二卷积层，对所述第三特征进行卷积计算，输出所述高清图像；当训练次数达到预设迭代次数，则训练结束，获得训练后的图像超分网络。

这样，由于低清图像和高清图像在很大程度上是相似的，也就是说，低清图像携带的低频信息与低清图像携带的低频信息相近，训练时带上这些低频信息会花费大量的时间。因此，本申请实施例中，利用残差网络，只学习低清图像和高清图像之间的高频部分残差，这样可以节省大量的训练时间。