[发明专利]一种基于自注意力机制的循环特征推理的图像修复方法

说明书

本申请公开的基于自注意力机制的循环特征推理的图像修复方法，包括：构建SA‑RFR网络结构：包括预处理模块、特征推理模块和自适应重影融合模块；将破损图像和对应的蒙版输入网络结构中，先经过预处理模块处理，进行特征图的提取以及蒙版的判定并更新；后将预处理模块的输出输入到特征推理模块，合成破损图像的部分内容；将前面两个模块交替迭代共6次，每一次都对修复的特征图进行保存；最后一次修复完成后，将修复过程中生成的所有特征图合并为一个通道的固定特征图，最后经过自适应重影融合模块完成修复，生成最终结果。本发明涉及的技术方案，其能够针对大区域缺失图像进行修复，使修复后的内容细节更加清晰，边缘更加平滑，结构更加合理。

技术领域

本申请涉及图像修复技术领域，更具体地说，尤其涉及一种基于自注意力机制的循环特征推理的图像修复方法及系统。

背景技术

近年来，机器学习得到了飞速发展，尤其是深度学习，更是近年来计算机行业的热门方向。随着计算机视觉的发展，许多在过去很难解决的麻烦在如今有了很好的解决办法。比如移除图像中某些特定的对象；人们拍照之后想移除图像中的一些不必要的人或物；又或者出于美观或者使用需求，需要对图像去除水印、字幕等，可见图像修复在很多领域都可以发挥重要作用，并且随着人工智能的高速发展，图像修复的应用领域会变得越来越广泛。因此，基于深度学习的图像修复研究具有相当重要的意义，图像修复技术也就逐渐成为了计算机视觉中的一个热门方向。

深度学习在计算机视觉领域取得了卓越的成果，相关的深度学习方法也被应用到图像修复领域，并且在图像修复方面取得了不错的成果。内容编码器是第一个利用深度生成网络处理缺失图像模型，它利用自动编码器的预测能力，根据缺失图像周围已知的图像信息预测缺失图像的内容；其他修复方法还有“基于图像内容和纹理约束的联合优化的多尺度神经补丁合成方法”、“按需学习算法对于使用深度卷积神经网络训练图像修复模型”、“用于大型不规则蒙版的新型图像修复方法”以及“递归特征推理(RFR)网络”等等。但是，现有修复方法存在诸多弊端：其一、现有方法几乎都是针对小区域缺失图像进行修复，对缺失区域过大的图像，即蒙版大小在50％以上，进行修复时，通常会产生扭曲的结构或与周围区域不一致的模糊纹理；其二、针对不规则大区域缺失图像方法大都采用生成对抗式网络结构，计算量大且模型训练很容易出现过拟合问题，很难进行网络训练；其三、为规避其二的问题，一般采用端到端的循环特征推理网络结构RFR-NET通过共享的特征推理模块递进式对蒙版面积较大且形状不规则的缺失图像进行修复，但RFR-NET也存在一些问题，对人脸数据集修复时会生成不合理的修复结构，对于街景数据集修复时会生成一些类似的菱形的块状纹理，严重影响修复效果。

因此，如何提供一种基于自注意力机制的循环特征推理的图像修复方法，其能够针对大区域缺失图像进行修复，使修复后的内容细节更加清晰，边缘更加平滑，结构更加合理，已经成为本领域技术人员亟待解决的技术问题。

发明内容

为解决上述技术问题，本申请提供一种基于自注意力机制的循环特征推理的图像修复方法，其能够针对大区域缺失图像进行修复，使修复后的内容细节更加清晰，边缘更加平滑，结构更加合理。