[发明专利]图像处理装置及方法、图像处理系统及训练方法

说明书

公开了一种图像处理装置及方法、以及图像处理系统及训练方法。所述图像处理方法包括：接收输入图像；将所述输入图像输入级联的K级解码模块，对所述输入图像进行处理以得到输出图像，其中第i级解码模块接收m^K+1‑i个输入图像，并且输出m^K‑i个输出图像，并且输出图像的分辨率大于输入图像的分辨率，输出图像的通道数小于输入图像的通道数，K、i、m均为正整数，1≤i≤K。

技术领域

本公开涉及图像处理领域，并且更具体地，涉及一种图像处理装置及方法、 包括该图像处理装置的图像处理系统、以及用于该图像处理系统的训练方法。

背景技术

当前，基于卷积神经网络的深度学习技术已经在诸如图像分类、图像捕获 和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。

并且，近来数字图像和视频的质量提升，高质量的图像具有较高分辨率并 且文件尺寸也比较大。但是由于受限于卷积神经网络的卷积核比较小(一般地， 3x3)，只能感知到小图像而无法“看到”大图像，这就使得需要将高质量的图 像转换为多个小图像，转换后的图像分辨率变低并且每个文件大小也随之变小， 从而它们可以被卷积神经网络的卷积核感知到。

然而，转换后的图像往往需要进一步被压缩以在有限的带宽内传输，图像 在压缩的过程中会损失部分图像信息。为了提高用户的观感和体验，被转换为 低分辨率的图像需要恢复成原始的高分辨率图像以输出显示给用户。但由于在 图像压缩时在下采样期间丢失了原始图像中的某些信息，导致在输出端难以恢 复出与原始高分辨图像没有区别的图像，这在一定程度上影响了用户的观看感 受。

发明内容

针对上述问题，本公开提出了一种图像处理方法及装置、以及相应的图像 处理系统及训练方法。

根据本公开的第一方面，提供了一种图像处理方法。所述方法包括：接收 输入图像；将所述输入图像输入级联的K级解码模块，对所述输入图像进行处 理以得到输出图像，其中第i级解码模块接收m^K+1-i个输入图像，并且输出m^K-i个输出图像，并且输出图像的分辨率大于每个输入图像的分辨率，输出图像的 通道数小于输入图像的通道数，K、i、m均为正整数，1≤i≤K。

在一个实施例中，所述K级解码模块的每一级包括解码单元和拼接单元。

在一个实施例中，所述接收输入图像包括：接收原始图像；将所述原始图 像输入到第一卷积神经网络模块以获得m^K个图像作为输入图像的m^K个通道。

在一个实施例中，所述接收输入图像包括：接收原始图像和噪声图像；将 所述原始图像和噪声图像输入到第二卷积神经网络模块以获得m^K个图像作为 输入图像。

在一个实施例中，其中，m＝4，利用第i级解码模块进行处理包括：第i 级解码模块将输入的m^K+1-i个输入图像分成m^K-i组，每组图像包括各自的第一 解码输入成分、第二解码输入成分、第三解码输入成分和第四解码输入成分； 对每组图像中的第一解码输入成分、第二解码输入成分、第三解码输入成分和 第四解码输入成分执行解码操作。其中，执行解码操作包括：执行基于所述第 一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的 结果获得第一差别特征和第一叠加特征；执行基于所述第三解码输入成分和所 述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征；基于所述第二差别特征和所述第二叠加特征生成更新图像， 并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输 出成分和第二解码输出成分；基于所述第一解码输出成分和所述第二解码输出 成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加 特征生成所述第三解码输出成分和所述第四解码输出成分；将所述第一解码输 出成分、第二解码输出成分、第三解码输出成分和第四解码输出成分拼接为一 个解码输出图像。