[发明专利]一种基于注意力机制的递归推理图像修复方法

权利要求书

1.一种基于注意力机制的递归推理图像修复方法，其特征在于，所述基于注意力机制的递归推理图像修复方法，包括：

步骤S1、获取待处理图像Y和mask图像；

步骤S2、将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；

步骤S3、使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M，包括：

步骤S31、对特征图X进行stride为1的局部卷积操作得到特征图X1，同时利用识别区域函数和更新函数对mask图像进行处理生成mask1图像，根据mask图像和mask1图像确定待填充区域，并把mask1加入遮掩图集合M；

步骤S32、对特征图X1进行卷积核尺寸为3*3的两次stride为2、padding为1的卷积操作以及卷积核尺寸为3*3的三次stride为1、padding为2的卷积操作得到固定通道数的特征图X2至X6；

步骤S33、对特征图X1分别进行三次降采样操作得到全局图K1、K2和K3，并对全局图K3进行三次卷积核为3*3的卷积操作分别得到特征图K31、K32和K33，再计算特征图K31、K32、K33的注意力分数得到注意力图A31、A32、A33；

在垂直方向上，以全局图K2作为输入，对全局图K2进行stride为1、卷积核为3*3的卷积操作得到特征图K21，并根据注意力图A31的注意力分数填充特征图K21中的待填充区域得到新的图L31，计算图L31的注意力分数得到注意力图A21，以图L31作为输入同理得到图L32和A22，以图L32作为输入同理得到图L33和A23，并对图L33进行stride为1、卷积核为3*3的卷积操作得到特征图K24，计算特征图K24的注意力分数得到注意力图A24；

在水平方向上，对全局图K1进行stride为1、卷积核为3*3的卷积操作得到特征图K11，并根据注意力图A21的注意力分数填充特征图K11中的待填充区域得到新的图L21，计算图L21的注意力分数得到注意力图A11，以图L21作为下一层的输入同理得到注意力图A12、A13、A14、A15；

步骤S34、特征图X6根据注意力图A15填充待填充区域后经过转置卷积操作生成图Z5，图Z5和特征图X5桥接组合成一个特征图R5，特征图R5作为输入同理得到图Z4、Z3、Z2、Z1，并根据图Z1计算得到本次循环的注意力分数；

步骤S35、判断在待填充区域中相同像素点坐标处上次循环是否存在注意力分数，若存在则加权组合该像素点坐标处本次循环的注意力分数和上次循环的注意力分数作为该像素点坐标处最终的注意力分数；否则将该像素点坐标处本次循环的注意力分数作为最终的注意力分数；

步骤S36、将特征图Z1加入特征图集合F中，并将特征图Z1作为新的特征图X、将mask1图像作为新的mask图像重新返回步骤S31继续执行直至循环次数达到预设的最大循环次数；

步骤S4、采用自适应函数合并特征图集合F中的所有特征图，得到新的特征图R；

步骤S5、对特征图R进行上采样操作，得到修复后的图像。

2.如权利要求1所述的基于注意力机制的递归推理图像修复方法，其特征在于，所述识别区域函数可表示为Ar函数，所述Ar函数的定义如下：

式中，Ar(x，y，z)表示mask图像中第z个通道的第x行、第y列的像素值，W_z表示第z个卷积核，T表示对W_z的转置，sum(m_x，y)表示mask特征块的像素值之和，f_x，y和m_x，y分别表示X特征块和mask特征块，bias表示W_z卷积核的偏置值，⊙表示相应位置元素相乘，sum(1)表示和mask特征块相同尺寸的区域所有1相加；

所述更新函数的定义如下：

式中，表示部分卷积后更新的mask图像中的第x行、第y列的像素值。

3.如权利要求1所述的基于注意力机制的递归推理图像修复方法，其特征在于，所述根据mask图像和mask1图像确定待填充区域，包括：

以mask图像和mask1图像之间的面积差所对应的区域作为待填充区域。