[发明专利]一种基于深度多特征协同学习的图像修复方法

权利要求书

1.一种基于深度多特征协同学习的图像修复方法，其包括如下步骤：

S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；

S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；

其特征在于，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征来表示图像细节，三个深层卷积层用于重新组织结构特征来表示图像语义，得到结构特征集和纹理特征集；

所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征，该软门控双特征融合模块包括结构引导的纹理特征单元，用于执行如下算法，

G_te＝σ(SE(h([F_cst,F_cte]))) (2-1)

F′_cte＝α(β(G_te⊙F_cte)⊙F_cst)⊕F_cte (2-2)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，h(·)是内核大小为3的卷积操作，SE(·)是一个压缩和激活操作去捕获重要的通道信息，σ(·)是一个Sigmoid激活函数，G_te是用来控制纹理信息的细化程度，F′_cte表示具有结构感知的纹理特征，α和β是可学习的参数，⊙表示元素对应乘积，⊕表示元素对应相加。

2.如权利要求1所述的图像修复方法，其特征在于，纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充，三个流组合形成输出特征图，然后将输出特征图映射到输入特征的相同大小，所述结构特征和纹理特征的输出满足如下要求：

L_rst＝||g(F_cst)-I_st||₁ (1-1)

L_rte＝||g(F_cte)-I_gt||₁ (1-2)

其中，F_cst和F_cte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，L_rst和L_rte分别表示为结构和纹理的重建损失，g(·)是核大小为1的卷积操作，可以将F_cst和F_cte分别映射为彩色图像，I_gt和I_st分别表示真实图像及其结构图像，使用边缘保留的图像平滑方法来生成I_st。