[发明专利]利用预训练StyleGAN模型动态卷积核修正的图像重构方法

权利要求书

1.一种利用预训练StyleGAN模型动态卷积核修正的图像重构方法，其特征在于，该方法包括以下具体步骤：

步骤1：将输入图像送入多尺度编码器中得到多尺度特征，构建注意力模块，从多尺度特征中提取图像信息，得到风格码字和残差码字；

步骤2：将风格码字和残差码字送入预训练StyleGAN模型的生成器中，将生成器中的静态卷积核用风格码字调制为动态卷积核，并利用残差码字修正动态卷积核；

步骤3：将多尺度编码器和注意力模块结合，训练一个编码网络，利用修正后的生成器，实现图像的重构。

2.根据权利要求1所述的图像重构方法，其特征在于，所述注意力模块由若干自注意力模块和交叉注意力模块串联构成，产生风格码字和残差码字的注意力模块参数不共享。

3.根据权利要求1所述的图像重构方法，其特征在于，所述步骤2，具体包括：

步骤2-1：将风格码字经过全连接层映射为调制码字s，逐像素乘在静态卷积核上，得到动态卷积核W_d，其维度大小为C_out×C_in×3×3，C_out为卷积核的输出通道数，C_in为卷积核的输入通道数；

步骤2-2：将残差码字经过两个独立的全连接层映射为列残差码字P和行残差码字Q，其维度大小分别为C_out×L，L×C_in，L为残差码字的特征维度，将列残差码字P和行残差码字Q矩阵相乘，得到残差矩阵res，其维度大小为C_out×C_in；

步骤2-3：将残差矩阵res复制3×3份后加在动态卷积核W_d上，得到修正后的动态卷积核其维度大小为C_out×C_in×3×3。

4.根据权利要求1所述的图像重构方法，其特征在于，所述多尺度编码器和注意力模块结合，其具体方式为：注意力模块中的交叉注意力模块按从小到大的尺度从特征中提取信息，每个尺度特征对应一个独立的交叉注意力模块。