[发明专利]一种图像修复的方法和装置

权利要求书

1.一种图像修复的方法，包括：

确定图像修复的阶段数N；所述N为正整数；

对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；

其中，所述每个阶段进行卷积神经网络的处理包括：

根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；

利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；

根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；

对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。

2.根据权利要求1所述的方法，其特征在于，所述确定图像修复的阶段数N时根据修复设备的处理能力和/或用户指令进行。

3.根据权利要求1所述的方法，其特征在于，所述对待修复图像进行特征提取包括：对待修复图像依次进行四个结构相同的残差处理，将最后一次残差处理的输出特征作为所述提取出的图像特征；

其中，所述残差处理包括：对输入特征依次进行两次3*3的卷积处理，将处理结果与所述输入特征相加，再对相加结果施加Relu激励后作为输出特征进行下一次残差处理。

4.根据权利要求1所述的方法，其特征在于，根据修复设备的处理能力和/或用户指令确定所述可选策略集。

5.根据权利要求1所述的方法，其特征在于，所述计算选中的各策略对应的注意力权值包括：

针对所述当前阶段输入的图像特征中各个通道的输入特征，计算每个通道内的通道平均特征值；

利用所有通道的通道平均特征值，计算所述选中的各策略对应的注意力权值。

6.根据权利要求1所述的方法，其特征在于，所述根据所述自适应优化特征生成当前阶段的残差恢复图像包括：

对所述自适应优化特征进行1*3*12的卷积处理，生成所述当前阶段的残差恢复图像。

7.根据权利要求1或6所述的方法，其特征在于，所述利用所述残差恢复图像生成当前阶段的阶段性恢复图像包括：将所述残差恢复图像与所述待修复图像相加得到所述当前阶段的阶段性恢复图像。

8.一种图像修复的装置，其特征在于，包括：阶段数确定模块、特征提取模块、级联的多个相同的阶段处理模块、输出模块；其中，所述阶段处理模块包括自适应优化单元和可视化监督的阶段注意力单元；

所述阶段数确定模块，用于确定图像修复的阶段数N；

所述特征提取模块，用于对待修复图像进行特征提取，并将提取出的图像特征输入第一个阶段处理模块；

所述阶段处理模块中的自适应优化单元，用于根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征输入本阶段处理模块中的可视化监督的阶段注意力单元；

所述阶段处理模块中的可视化监督的阶段注意力单元，用于根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到输出特征输入下一阶段的阶段处理模块；

最后一个阶段的阶段处理模块中，所述可视化监督的阶段注意力单元在获取当前阶段的输出特征后，将其输入给所述输出模块，并停止处理；

所述输出模块，用于将接收的最后一个阶段的输出特征进行输出处理后作为图像恢复结果，输出给用户。