[发明专利]一种基于可逆网络的图像分辨率压缩及重建方法

权利要求书

1.一种图像分辨率压缩及重建方法，其特征在于，所述方法包括：

建模阶段：利用卷积神经网络与可逆网络构建进行图像分辨率压缩以及重建的网络模型；

选择训练数据集阶段：选择训练数据集，所述训练数据集包括高分辨率图像和对应的目标低分辨率图像；

模型训练阶段：将高分辨率图像输入到进行分辨率压缩的网络中生成低分辨率压缩图像，将与高分辨率图像对应的目标低分辨率图像输入到进行图像分辨率重建的网络中得到高分辨率重建图像；利用生成的低分辨率压缩图像和得到的高分辨率重建图像分别与目标低分辨率图像和高分辨率图像之间的差异设计优化的目标函数，通过最小化该函数的值来对构建的分别进行图像分辨率压缩和重建的网络模型的参数进行更新，提升网络进行图像分辨率压缩以及重建的能力；

图像压缩和重建阶段：利用更新参数后的分别进行图像分辨率压缩和重建的网络模型对待压缩和重建的图像进行相应的压缩和重建。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

(1)选择训练数据集D：选择一个用来训练网络模型的数据集D，该数据集需包括多张尺寸为w×h×c的高分辨率图像以及对应的尺寸为的目标低分辨率图像，其中w、h、c和r分别为原始图像的宽度、高度、通道数以及分辨率压缩的下采样因子；

其中，对应的目标低分辨率图像为对高分辨率图像进行基于双立方插值的下采样得到的压缩图像；

(2)建立可逆模块：可逆模块由改进的加性耦合层组成，其输出由以下步骤得到：

改进的加性耦合层正向过程：对于尺寸为B×W×H×N_C的输入数据x，其中B、W、H和N_C分别表示输入数据的每批次数量、宽度、高度以及通道数，将其沿着通道处分为尺寸为的两个部分x₁和x₂，利用下述公式(1)和(2)得到输出数据的两个部分y₁和y₂：

y₁＝x₁+f(x₂) (1)

y₂＝x₂+g(y₁) (2)

其中，f(x₂)和g(y₁)分别代表没有限制且不改变数据尺寸的非线性映射；将得到的y₁和y₂沿着通道拼接成尺寸为B×W×H×N_C的输出y；

所述改进的加性耦合层正向过程的输入数据x是由步骤中(5)中尺寸为B×W×H×C的高分辨率图像批数据I^HR_B经过步骤(3)中所述用于分辨率压缩的网络CRRevnet的第一层传播之后得到的尺寸为B×W×H×N_C的中间批数据；

改进的加性耦合层逆向过程：对于尺寸为B×W×H×N_C的输入数据y′，将其沿着通道处分为尺寸为的两个部分y′₁和y′₂，然后利用下述公式(3)和(4)得到输出数据的两个部分x′₁和x′₂：

x′₂＝y′₂-g(y′₁) (3)

x′₁＝y′₁-f(x′₂) (4)

将得到的x′₁和x′₂沿着通道拼接成尺寸为B×W×H×N_C的输出x′；

所述改进的加性耦合层逆向过程的输入数据y′是由步骤(6)中得到的尺寸为的压缩图像批数据I^CR_B经过步骤(3)中所述用于高分辨率重建的网络SRRevnet的第一层传播之后得到的尺寸为B×W×H×N_C的中间批数据；

(3)建立网络模型：网络模型一共由两个网络组成：第一个网络是进行图像分辨率压缩的CRRevnet，其第一层为卷积层，核为3×3，步长为1，输出通道为N_C；然后是由N_R个步骤(2)中的可逆模块组成的中间层；最后一层为一个卷积层，核为3×3，步长为2，输出通道为3；

第二个网络是进行图像高分辨率重建的SRRevnet，其第一层为转置卷积层，核为3×3，步长为2，输出通道为N_C；然后是由N_R个步骤(2)中的可逆模块的逆向过程组成的中间层；最后一层是一个卷积层，核为3×3，步长为1，输出通道为3；

(4)设置训练参数：设置学习率为α，设置迭代次数K的初值为0；

(5)建立批数据：从数据集D中随机选择B张高分辨率图像，然后随机的从里面裁剪出尺寸为W×H×C的图像块，其中W、H和C分别为裁剪图像块的宽度、高度和通道数，然后将B个图像块拼接成尺寸为B×W×H×C的高分辨率图像批数据I^HR_B，然后从相应的B张低分辨率图像中裁剪出对应的尺寸为的图像块，拼接成尺寸为的低分辨率图像批数据I^LR_B，并将图像批数据I^HR_B和I^LR_B以0.5的概率同时进行水平翻转；

(6)生成压缩图像：将图像批数据I^HR_B输入网络CRRevnet得到尺寸为的低分辨率压缩图像批数据I^CR_B；

(7)生成重建图像：将图像批数据I^CR_B输入网络SRRevnet得到尺寸为B×W×H×C的高分辨率重建图像批数据I^SR_B；

(8)计算目标损失：利用得到的低分辨率压缩图像批数据I^CR_B和目标低分辨率图像批数据I^LR_B计算正则化损失loss_regul：

其中，x和y分别表示图像中单个像素的横坐标和纵坐标；

利用得到的高分辨率重建图像批数据I^SR_B和原始高分辨率图像批数据I^HR_B计算重建损失loss_recon：

将正则化损失lass_regul和重建损失lass_recon进行一个加权得到目标损失loss：

loss＝loss_recon+λlass_regul (7)

其中λ表示了正则化损失在目标损失中占有的权重；

(9)更新网络模型的参数：利用目标损失loss对网络模型的所有参数W_m进行求导得到W_m关于loss的导数ΔW_m，然后利用随机梯度下降法或Momentum梯度下降法并以学习率为α按下述公式(8)对进行网络模型的参数进行更新：

W_m＝W_m-α·ΔW_m (8)

(10)迭代次数K加1，并判断加1后的迭代次数是否是1万的整数倍，如果是则将学习率α减半，否则不改变学习率α；

(11)判断迭代次数K是否达到了10万次，如果是则结束迭代并保存训练好的网络模型CRRevnet以及SRRevnet的参数，否则跳转至步骤(5)；

(12)将需要进行分辨率压缩的图像输入到训练好的CRRevnet中得到低分辨率压缩图像，将低分辨率压缩图像输入到训练好的SRRevnet中得到高分辨率重建图像。