[发明专利]一种基于注意力机制的递归推理图像修复方法

说明书

本发明公开了一种基于注意力机制的递归推理图像修复方法，包括获取待处理图像Y和mask图像；将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M；采用自适应函数合并特征图集合F中的所有特征图，得到新的特征图R；对特征图R进行上采样操作，得到修复后的图像。本发明能够实现精确、高效的图像修复。

技术领域

本申请属于图像处理技术领域，具体涉及一种基于注意力机制的递归推理图像修复方法。

背景技术

图像修复是计算机视觉和图像处理领域的一个重要研究内容。随着深度学习在视觉领域的优秀表现，视觉领域的前沿基本被深度学习技术所占据。而图形学和视觉领域的交叉部分更是讨论研究的热点，特别是图像编辑和图像生成这两个方面。其中图像修复可以简单概述为一个缺失部位的估计值问题，现如今如何高效修复大面积、不规则的图像仍是一个亟待提高解决的问题。

近些年，许多学者也在深度学习图像修复领域贡献了很多的算法，这里主要概括为三类：1)卷积网络图像修复方法；2)边界渐进修复算法；3)基于注意力机制的修复算法。像Guilin Liu等人提出的部分卷积网络可以进行不规则破损图像的修复，向较远区域借用特征块，但是这些方法没有考虑到语义歧义的问题，只要是面对大孔洞的破损图像就会因为破损中心的和已知区域的相关性减弱，从而导致产生语义上的误差。Wei Xiong等人利用渐进的方式先修复破损部位的边界部分，逐步增加对孔中间部位的约束，最终实现了图像的修复，但是由于计算成本偏大，而且部分信息在解码过程中迭代次数较多导致信息失真。后来又提出了一种基于注意力机制的修复方式，从背景图中高精度提取适合的纹理，但该方法依旧没有考虑到不同递归循环时提取到特征之间的关系，造成修复的部分精确度欠佳。

发明内容

本申请的目的在于提供一种基于注意力机制的递归推理图像修复方法，实现精确、高效的图像修复。

为实现上述目的，本申请所采取的技术方案为：

一种基于注意力机制的递归推理图像修复方法，所述基于注意力机制的递归推理图像修复方法，包括：

步骤S1、获取待处理图像Y和mask图像；

步骤S2、将待处理图像Y和mask图像进行组合，并通过stride为2的局部卷积操作得到存在遮掩区域固定通道数的特征图X；

步骤S3、使用递归推理模块对特征图X和mask图像进行处理，得到特征图集合F和遮掩图集合M，包括：

步骤S31、对特征图X进行stride为1的局部卷积操作得到特征图X1，同时利用识别区域函数和更新函数对mask图像进行处理生成mask1图像，根据mask图像和mask1图像确定待填充区域，并把mask1加入遮掩图集合M；

步骤S32、对特征图X1进行卷积核尺寸为3*3的两次stride为2、padding为1的卷积操作以及卷积核尺寸为3*3的三次stride为1、padding为2的卷积操作得到固定通道数的特征图X2至X6；

步骤S33、对特征图X1分别进行三次降采样操作得到全局图K1、K2和K3，并对全局图K3进行三次卷积核为3*3的卷积操作分别得到特征图K31、K32和K33，再计算特征图K31、K32、K33的注意力分数得到注意力图A31、A32、A33；

在垂直方向上，以全局图K2作为输入，对全局图K2进行stride为1、卷积核为3*3的卷积操作得到特征图K21，并根据注意力图A31的注意力分数填充特征图K21中的待填充区域得到新的图L31，计算图L31的注意力分数得到注意力图A21，以图L31作为输入同理得到图L32和A22，以图L32作为输入同理得到图L33和A23，并对图L33进行stride为1、卷积核为3*3的卷积操作得到特征图K24，计算特征图K24的注意力分数得到注意力图A24；