[发明专利]一种基于混合空洞卷积的图像修复方法及系统

权利要求书

1.一种基于混合空洞卷积的图像修复方法，其特征在于，包括：

对待修复图像采用部分卷积进行预处理；

将预处理后的待修复图像输入循环特征推理模块，获得多个推理特征图；所述循环特征推理模块包括特征推理模块，所述特征推理模块包括编码模块和解码模块，所述编码模块包括卷积层和混合空洞卷积层，所述解码模块包括反卷积层和知识一致性注意力机制；其中，对所述卷积层输出数据进行组规范化处理；

将多个所述推理特征图合并并进行后处理，获得修复后图像；

所述知识一致性注意力机制为改进知识一致性注意力机制；

所述改进知识一致性注意力机制用于对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图；所述前景区域为掩膜区域，所述背景区域为非掩膜区域；

所述对于输入的特征图，计算的前景区域和背景区域的余弦相似度值，采用一个一值化的卷积传播核对所述余弦相似度值进行注意力分数传播，获得更新后的相似度值，基于所述更新后的相似度值重建特征图具体包括：

对于输入的特征图Fⁱ，计算的前景区域和背景区域的余弦相似度值其中：表示特征图Fⁱ的前景区域位置(x，y)与背景区域位置(x'，y')的余弦相似度值，i表示循环次数；

采用卷积传播核与所述余弦相似度值进行分组卷积，获得更新后的相似度值

根据所述更新后的相似度值，使用softmax函数计算在位置(x，y)处的分量比例，获得位置(x，y)处的注意力得分；

判断位置(x，y)处第i-1次循环时的特征图对应的掩膜值是否为1；

若为1，则将位置(x，y)处第i-1次循环时的注意力得分和第i次循环时的注意力得分进行加权组合作为位置(x，y)的注意力得分；

若不为1，则将位置(x，y)处第i次循环时的注意力得分作为位置(x，y)的注意力得分；

根据前景区域各位置的注意力得分，采用反卷积重建特征图；

所述卷积传播核的数量为1024，通道数为1，大小为3×3，卷积传播核和余弦相似度值进行分组卷积，分组数为1024，所述卷积传播核以左右传播与上下传播来得到更新后的相似度值

其中，k为卷积核的大小。

2.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述对待修复图像采用部分卷积进行预处理，具体包括：

对待修复图像采用部分卷积进行掩膜更新和归一化的预处理。

3.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述循环特征推理模块还包括区域识别模块，所述区域识别模块包括两个部分卷积层，所述预处理后的待修复图像输入所述区域识别模块，所述区域识别模块的输出连接所述特征推理模块。

4.根据权利要求3所述的基于混合空洞卷积的图像修复方法，其特征在于，所述区域识别模块对输入的预处理后的待修复图像进行特征提取和掩膜更新，更新后的掩膜与所述特征推理模块的输出合成，合成后的图像返回所述区域识别模块的输入。

5.根据权利要求1所述的基于混合空洞卷积的图像修复方法，其特征在于，所述特征推理模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一混合空洞卷积层、第二混合空洞卷积层、第三混合空洞卷积层、第一反卷积层、第二反卷积层、第三反卷积层、知识一致性注意力机制、第四反卷积层和第五反卷积层；所述编码模块包括所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第一混合空洞卷积层、所述第二混合空洞卷积层和所述第三混合空洞卷积层；所述解码模块包括所述第一反卷积层、所述第二反卷积层、所述第三反卷积层、所述知识一致性注意力机制、所述第四反卷积层和所述第五反卷积层；所述第一卷积层与所述第四反卷积层通过跳线连接，所述第二卷积层与所述第三反卷积层通过跳线连接，所述第三卷积层与所述第二反卷积层通过跳线连接，所述第一混合空洞卷积层与所述第一反卷积层通过跳线连接，所述第二混合空洞卷积层与所述第三混合空洞卷积层通过跳线连接。