[发明专利]利用预训练StyleGAN模型动态卷积核修正的图像重构方法

说明书

本发明公开了一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法，其特点是将输入图像送入多尺度编码器中得到多尺度特征，构建注意力模块，从多尺度特征中提取图像信息，得到风格码字和残差码字；将风格码字和残差码字送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核；将多尺度编码器和注意力模块结合，训练一个编码网络，利用修正后的生成器，实现图像的重构。本发明与现有技术相比具有参数量低，计算量低，显著提高重构图像质量的特点，方法简便，效率高，较好地解决了由于生成器动态卷积核缺乏有效修正而导致的重构图像质量差的问题。

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，尤其是一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法。

背景技术

目前，生成对抗网络和transformer都在计算机视觉领域取得了良好的效果，图像重构作为计算机视觉中一项图像生成的任务，也得到了很多的发展。图像重构需要将输入图像编码为码字，再通过生成器生成重构图像，生成对抗网络的训练代价过大，增大了高清图像重构的难度。由于StyleGAN模型拥有强大的高清图像生成能力和从侧枝引入风格码字的特点，不少方法利用预训练StyleGAN模型实现高清图像重构，提高了图像质量和效率。

在利用预训练StyleGAN模型的图像重构方法中，需要训练一个编码器将输入图像编码为风格码字，再将风格码字从侧枝输入预训练StyleGAN模型的生成器中得到重构图像，在输入图像和重构图像之间建立均方误差损失、感知损失和身份标识损失完成训练。仅利用风格码字重构图像，可能丢失图像中的高频细节，有些方法用微调或训练一个卷积神经网络的方式调整生成器中的参数，补充图像细节。

然而，现有的利用预训练StyleGAN模型的图像重构工作存在两个问题：1)没有对生成器中的动态卷积核进行有效修正，微调生成器或训练一个卷积神经网络参数量过大，可能造成训练困难；2)没有对图像特征进行长距离建模，仅关注局部信息，可能丢失全局空间信息。

因此，提供一种高效的利用预训练StyleGAN模型的图像重构方法十分必要。

发明内容

本发明的目的是针对现有技术的不足而提供的一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法，采用利用注意力模块输出的修正码字对生成器中的动态卷积核进行修正的方法，提升重构图像的质量：将多尺度编码器和注意力模块结合，得到风格码字和残差码字并送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核，训练一个编码网络，方法简便高效，参数量和计算量很低，较好地解决了由于生成器动态卷积核缺乏有效修正的问题，显著地提高了重构图像的质量。

本发明的目的是这样实现的：

一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法，其特点是将多尺度编码器和注意力模块结合，得到风格码字和残差码字并送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核，训练一个编码网络，实现重建图像质量的提升，具体包括以下步骤：

步骤1：将输入图像送入多尺度编码器中得到多尺度特征，构建注意力模块，从多尺度特征中提取图像信息，得到风格码字和残差码字；

步骤2：将风格码字和残差码字送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核；

步骤3：将多尺度编码器和注意力模块结合，训练一个编码网络，利用修正后的生成器，实现图像的重构。

所述注意力模块由若干自注意力模块和交叉注意力模块串联构成，产生风格码字和残差码字的注意力模块参数不共享。

所述步骤2，具体包括：