[发明专利]一种基于深度多特征协同学习的图像修复方法

说明书

本发明涉及图像处理领域，尤其涉及一种基于深度多特征协同学习的图像修复方法，包括如下步骤：S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；其中，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征，三个深层卷积层用于重新组织结构特征，得到结构特征集和纹理特征集；所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征。本技术可以有效解决修复图像的伪影，使得修复后的图像具有详细的纹理和更好的图像外观。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度多特征协同学习的图像修复方法。

背景技术

随着信息技术进步和数字化时代的到来，数字图像作为图像数据记录和传递的载体已广泛的存在于人们生活之中，并且以惊人的速度增长。然而数字图像在拍摄、存储、处理和传输中往往会产生损坏或因为遮挡使得图像中存储的信息失去完整性。为了找回残损数字图像信息丢失的部分，目前技术可以根据当前图像数据中的信息的相关特性进行合理还原，即根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息，这一个技术俗称图像的修复技术。

图像修复旨在重建受损区域或移除图像中不需要的区域，同时提高其视觉美感，广泛用于低级视觉任务，比如恢复破损照片或移除目标区域等，当前传统的修复方法分为基于扩散的方法和基于块的方法。

比如由刘虹雨提出的一种基于特征均衡的相互编码解码器的修复方法，该技术提出了一种相互编码解码器，使用深层和浅层的卷积特征层分别作为图像的结构和纹理。深层特征被发送到结构分支，而浅层特征被发送到纹理分支。在每个分支中，使用多个尺寸填充空洞。将来自以上两个分支的特征连接起来，进行通道均衡和特征均衡。本技术采用的通道均衡是采用压缩与激活网络(SENet)，在特征均衡上使用双边传播激活函数重新权衡通道注意力以实现空间均衡。最后通过跳连接方式生成输出图像。

由李海燕提出的一种基于BDCN和U-net边缘生成两阶段修复算法，该技术提出一种基于双向级联边缘检测网络(BDCN)和U-net残缺边缘生成的两阶段网络图像修复算法。在第一阶段首先基于BDCN网络提取图像边缘信息取代Canny算子提取残缺区域的边缘，每层网络学习特定尺度的边缘特征，融合得到多尺度的边缘特征，然后基于U-net网络架构用收缩路径提取缺失图像边缘特征，再使用扩张路径还原图像边缘纹理信息。第二阶段使用空洞卷积进行下采用和上采样，经过残差网络重建细节丰富的缺失图像。

由何凯提出的一种基于级联式生成对抗网络图像修复算法，该技术由粗化和优化生成子网络串联而成。在粗化生成网络中设计了一种并行卷积模块，由3层卷积通路和1个深层卷积通路并联而成，当卷积层数较深时，可解决梯度消失问题；在深层卷积通路中提出了一种级联残差模块，通过对4个通道的双层卷积进行交叉级联，可有效增强特征复用；将卷积结果与模块输入特征图的元素对应相加，进行局部残差学习，提高网络的表达能力。

针对现有基于扩散的方法传播相邻内容的外观信息来填充缺失区域，仅仅依靠在相邻内容上的搜索机制，在修复大面积缺损照片时，会产生明显的伪影。基于块的方法通过从未损坏区域中搜索最相似的块来填充缺失区域，虽然具有获取远距离信息的优势，但由于缺乏高层结构理解，难以生成语义合理的图像。随着技术的进步，基于深度学习的方法虽然可以理解高级语义以生成合理的内容，但由于缺乏有效的多特征融合技术，现有的图像修复方法的实际修复效果仍然不够自然和完美。

发明内容

本发明针对现有图像修复技术具有伪影、结构和纹理不自然等技术问题，提出一种基于深度多特征协同学习的图像修复方法。

这种基于深度多特征协同学习的图像修复方法，其包括如下步骤：