[发明专利]一种基于自注意力机制的循环特征推理的图像修复方法

权利要求书

1.一种基于自注意力机制的循环特征推理的图像修复方法，其特征在于，包括以下步骤：

S1、构建总体SA-RFR网络结构，所述SA-RFR网络结构包括预处理模块、特征推理模块以及自适应重影融合模块；

S2、在SA-RFR网络结构中以端到端的方式进行训练：给定一个真实图像I_gt，一个二进制掩码M，生成一个破损的输入图像I_in，将生成的破损图像I_in和对应的蒙版作为输入，输入至预处理模块；

S3、运用所述预处理模块对破损图像及其蒙版先后进行4次部分卷积操作，在进行第一次部分卷积后加入一个自注意力机制层进行自注意力机制操作，将图像区域局部的细节信息和相对距离较远的细节信息相互关联，实现特征图谱的提取以及蒙版的判定和更新；

S4、将所述预处理模块更新后的蒙版和特征映射输入到特征推理模块，根据已知信息修复出具有高层语义特征的特征图谱；

S5、将所述预处理模块与所述特征推理模块的处理操作进行6次交替循环迭代，并且保存每一次循环迭代后修复的特征图谱；

S6、自适应重影融合模块先把前面6次迭代生成的特征图合并在一起，然后使用自适应重影卷积代替普通卷积，通过三个自适应重影卷积层，处理后输出的特征图谱与特征推理模块最后一次迭代生成的特征图谱连接在一起，再经过一个ReLU激活函数层输出，生成最终的图像修复结果。

2.根据权利要求1所述的基于自注意力机制的循环特征推理的图像修复方法，其特征在于，在S3中，所述预处理模块每进行一次循环便更新一次蒙版和特征图谱，并在这次循环中被保存，直到进入下一次循环；每次循环的具体过程如下，将生成的破损图像I_in和对应的蒙版M作为输入，即[I_in，M]，

X₂＝SA(X₁)

其中W_p表示部分卷积，表示第一次部分卷积，以此类推；SA表示自注意力机制操作；X_i，M_i，i∈1，2，3，4表示每次经过操作后生成的对应输出。

3.根据权利要求2所述的基于自注意力机制的循环特征推理的图像修复方法，其特征在于，所述自注意力机制操作具体步骤为：

S301、给定输入的特征图为X，使用两个1×1的卷积进行线性变换和通道压缩，生成的特征图谱为θ和γ，具体表示为：

θ＝W_θ(X)，γ＝W_γ(X)，其中W_θ和W_γ表示1×1的卷积；

S302、然后将特征图谱θ和γreshape成矩阵形式，转置相乘，再经过softmax得到分数图，具体表示为：

S_j，i＝σ(θ(X_i)^Tγ(X_j))；

其中S_j，i表示模型在合成第j个区域时对第i个位置的关注程度，即注意力分数，σ表示softmax操作；

S303、将X再通过1×1的卷积进行线性变换，通道数保持不变，然后与所述分数图的矩阵相乘相加，再经过1×1的卷积，得到自注意力特征图；

S304、运用残差神经网络的操作，将自注意力特征图谱和原卷积特征图谱进行加权求和，作为最后的输出；具体表示为：

y＝aφ+X

a是一个参数，表示整体在施加了自注意力机制之后的特征图谱的权重，需要通过反向传播更新。