[发明专利]基于对抗多尺度与残差多通道空间注意力的图像修复方法

权利要求书

1.一种基于对抗多尺度与残差多通道空间注意力的图像修复方法，其特征在于，包括以下步骤：

步骤A，将真实图像I_orig和掩膜图像I_mask进行连接，生成待修复图像I_input作为输入，通过卷积操作获得缺失图像特征图，对缺失图像特征图进行通道切割输出四个同等通道大小的新缺失特征图；

步骤B，构建残差多通道空间融合注意力编码器，分别输入新缺失特征图，并进行特征连接，输出粗略的修复图像I_inpainted1；

步骤C，构建残差多尺度空间注意力生成器，输入粗略的修复图像I_inpainted1，输出不同尺度的修复图像I_{inpainted2(n)}；

步骤D，将不同尺度的修复图像I_{inpainted2(n)}和不同尺度的修复图像缺失区域输入多尺度鉴别器中，判断其真假；

步骤E，多尺度鉴别器和残差多尺度空间注意力生成器依据不同的损失函数，对生成对抗网络修复模型进行训练优化；

步骤F，利用步骤E训练得到的对抗网络修复模型，完成对待修复图像的修复，输出修复图像I_inpainted2。

2.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，其特征在于，所述步骤A的具体实现步骤如下：

步骤A1，构建包含缺失区域的待修复图像I_input与真实图像I_orig数据对；

步骤A2，将真实图像I_orig与掩码数据集图像I_mask进行逐元素相乘，得到包含缺失区域的待修复图像I_input；

步骤A3，对待修复图像I_input进行卷积操作，获得其缺失图像特征图，对缺失图像特征图进行通道切割，输出四个同等通道大小的新缺失图像特征图。

3.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，其特征在于，所述步骤B的具体实现步骤如下：

步骤B1，在编解码器结构的基础上联合残差块和空间注意力机制构建残差多通道空间融合注意力生成器；

步骤B2，确保残差多通道空间融合注意力生成器中的编码器是在U-Net解码器的基础上逐层加入残差模块和通道空间融合注意力机制，多尺度解码器为U-Net的解码器结构；

步骤B3，对残差模块采用ReLU激活函数和InstanceNorm归一化函数进行处理；

步骤B4，由卷积层通道特征图经过自适应平均池化层和自适应最大池化层进行特征压缩输出大小为1×1×C的特征向量；利用Sigmoid函数来生成通道权重；将通道注意力机制网络的输入图像特征图的每个通道分别乘以对应通道的权重值；

步骤B5，将新缺失图像特征图输入空间注意力机制网络，并提取缺失区域补丁并计算注意力分数值，最后对缺失区域使用注意力值加权后的上下文进行填充；

步骤B6，对多尺度解码器采用ReLU激活函数、InstanceNorm归一化函数进行处理。

4.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法，其特征在于，所述步骤C的具体实现步骤如下：

步骤C1，建立生成器网络模型，生成器网络结构使用基于U-Net的编解码器网络结构；

步骤C2，编码器在U-Net解码器的基础上逐层加入了残差模块，结合空间注意力机制逐层填充缺失区域；

步骤C3，对残差模块采用ReLU激活函数、InstanceNorm归一化函数进行处理；

步骤C4，空间注意力机制通过计算缺失区域内外补丁间的余弦相似度，在语义相似度的基础上计算其注意力分数，并根据该注意力分数对上下文进行加权填充缺失区域；

步骤C5，对解码器采用ReLU激活函数、InstanceNorm归一化函数进行处理；

步骤C6，编码器输出不同通道修复特征图逐层进行特征连接，获得通道融合后的新特征图，对特征图进行解码输出不同尺度的修复图像I_{inpainted2(n)}。