[发明专利]一种基于多频子带概率推理模型的图像修复方法

权利要求书

1.一种基于多频子带概率推理模型的图像修复方法，其特征在于：分为训练阶段和实测阶段两个阶段；

训练阶段采用推理网络和生成网络并行结构，生成网络用于在推理网络的辅助下，进行图像修复任务：

训练过程中推理网络用来估计真实图像的潜变量分布，推理网络的具体操作如下：

步骤一：针对真实图像I_gt，采用离散小波变换将真实图像迭代地分解为4个子带图像其中低频子带为：高频子带为：

步骤二：将步骤一得到的真实图像的高频子带和低频子带分别输入到不同的编码器中，得到高频子带和低频子带的潜变量和

步骤三：将步骤二中得到的高低频潜变量拼接到一起输入到解码器中，得到重建后的图像；

步骤四：将真实图像和步骤三中得到的重建后的图像输入到判别器网络D_infer中，通过损失函数迭代地调整生成器I_infer参数，直至损失函数收敛，生成器I_infer参数达到最优值停止训练；

推理网络损失函数具体如下：

首先，构建重建损失函数，该损失被定义为预测结果I_infer和真实图像之间的L1距离，具体如下：

其中，

I_infer表示推理网络中生成的图像，I_gt表示真实图像，分别是真实图像的高、低频子带，G_infer表示推理网络中的生成器；

然后，构建推理网络中的对抗损失函数，该损失用于使判别器网络中真实图像的特征和重建后的图像特征更加接近，具体如下：

其中，D_infer表示推理网络中的判别器；

接下来，利用多频子带概率推理模型得到推理网路的KL散度具体如下：

利用推理网络中的变分下界得到KL，具体如下：

式中x_L和x_H表示生成模型，log p(x_L)表示生成模型中低频子带的分布，log p(x_H)表示生成模型中高频子带的分布，其中，令控制生成模型生成的潜变量分布是一个标准正态分布：以适应缺失区域像素个数n，z_L和z_H表示生成模型的潜变量分布，是后验重要取样函数，它表示由真实图像的高低频子带经过编码后得到的对应高低频潜变量的分布，表示真实图像的低频子带通过编码器之后得到的潜变量控制生成图像低频子带分布的期望，；表示真实图像的高频子带通过编码器之后得到的潜变量控制生成图像高频子带分布的期望。

基于(4)和(5)式，根据缺失部分图像中像素n的数量来调整先验，定义为高斯函数，得到推理网路的KL散度用于最小化真实图像和生成模型这两个分布之间的差距，具体如下：

最后，得到推理网络的完整损失函数，具体如下:

其中，表示权重系数；

训练过程中生成网络的具体操作如下所示：

步骤一：针对受损图像I_m，采用离散小波变换将受损图像迭代地分解为4个子带图像其中低频子带为：高频子带为：

步骤二：将步骤一得到的受损图像的多频子带表示输入到U-net的编码器中，分别得到高频子带和低频子带的潜变量和

步骤三：将步骤二中得到的高、低频子带的潜变量和输入到U-net的解码器中，得到生成图像的多频子带表示，将多频子带表示经过逆小波变换得到修复完成的图像；

步骤四：将真实图像和步骤三得到的修复完成的图像输入到判别器网络D_gen中，通过损失函数迭代地调整生成器G_gen参数，直至损失函数收敛，生成器G_gen参数达到最优化，停止训练；

训练过程中生成网络的损失函数如下所示：

首先，构建生成网络的重建损失具体使用归一化的L1距离作为重建损失函数来约束生成结果的轮廓结构，重建损失定义如下：

其中，

I_out表示生成网络的修复结果，IDWT[·]表示逆离散小波变换，表示损失图像的多频表示，G_gen表示生成网络的生成器；

然后，构建抗性损失函数用于使判别器中真实图像的特征和重构图像的特征更接近，对抗性损失定义如下：

其中D_gen表示生成网络中的判别器；

然后，利用多频子带概率推理模型构建生成网络中的KL散度具体如下：

利用生成网络中的变分下界，得到生成网络的KL，变分下界如下：

其中p_θ(·|·)是似然函数，q_ψ(·|·)是后验重要取样函数，p_φ(·|·)是条件先验，表示由受损图像的高低频子带经过编码后得到的对应高低频潜变量的分布，表示由真实图像低频子带的潜变量和缺失图像的低频子带控制生成图像低频子带分布的期望，表示由真实图像高频子带的潜变量和缺失图像的高频子带控制生成图像高频子带分布的期望，和指的是在给定条件下的生成模型对应的高低频子带分布，θ、ψ、φ是对应函数的深度网络参数；

基于(13)和(14)，利用KL散度正则化高低频子带潜变量分布对之间的一致性，得到生成网络的KL散度如下：

然后，构建纹理损失函数用于保持生成图像和真实图像的内容和风格一致性，纹理损失的定义如下：

其中，Φ表示利用ImageNet预先训练的VGG-16网络提取的高层特征空间，Gram表示格拉姆矩阵运算；

最后，构建生成网络的总体损失函数为:

其中，表示权重系数；

实测阶段中使用生成网络来得到修复完成的图像，实测阶段的步骤如下所示：

步骤一：针对受损图像I_m，采用离散小波变换将受损图像迭代地分解为4个子带图像其中低频子带为：高频子带为：

步骤二：将步骤一得到的受损图像的多频子带表示输入到U-net的编码器中，分别得到高频子带和低频子带的潜变量和

步骤三：将步骤二中得到的高、低频子带的潜变量和输入到U-net的解码器中，得到生成图像的多频子带表示，将多频子带表示经过逆小波变换得到修复完成的图像，此时得到的图像真实感强、纹理细节清晰。