[发明专利]一种图像修复的方法和装置

说明书

本申请公开了一种图像修复的方法，包括：对待修复图像进行特征提取，然后将提取出的图像特征输入级联的多个卷积神经网络，对混合失真图像进行恢复。其中，在每个卷积神经网络的处理中，根据输入的图像特征，按照级联的多个卷积神经网络的联合训练结果，选择策略并匹配各个选中策略的注意力权值，进行自适应优化；根据自适应优化得到的输出特征生成当前阶段的残差恢复图像，利用该残差恢复图像生成当前阶段的阶段性恢复图像；对阶段性恢复图像进行处理得到低信息特征抑制遮罩；利用低信息特征抑制遮罩与对自适应优化特征处理，得到当前阶段的输出特征。通过对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。

技术领域

本申请涉及图像处理技术，特别涉及一种图像修复的方法和装置。

背景技术

普通用户使用智能手机拍摄照片，受限于智能手机摄像头本身的限制以及各种不利环境因素的影响，照片一般包含了未知混合比和强度的组合失真，例如低照度，高光干扰，阴影，高斯噪声等等，导致了照片质量的下降，当前对这种混合失真的照片的有效修复只能依赖于专业技术人员使用多种专业软件进行联合人工修正。

具体地，对于普通用户使用智能手机拍摄的照片中含有的未知混合比和强度的组合失真，例如照片含有整体曝光不足/过度,拍摄的主体目标被阴影遮盖，摩尔纹，高斯噪声等等，只能使用人工的方式修复，这种方式需要专业的技术人员以专业的设备和软件进行复杂的技术处理，才可以确保正确排除影响照片质量的组合失真，真实还原出高质量的照片(如图1所示)。而对于自动化修复方式，近年来兴起的卷积神经网络训练修复是主流的方法，但是现有的卷积神经网络(CNN)大多数仅能对单一环境负面因素进行针对性设计训练并修复并达成很好的恢复精度，例如单一去除照片中雨水的恢复网络，单一去除照片中阴影的恢复网络等。对于含有的未知混合比和强度的组合失真的照片，上述单一修复网络并不能进行正确的修复。

最近，有研究提出组合上述单一修复工具组成修复工具链，对混合失真的照片进行修复，该解决方案被证明有效，但是由于该方案需要串行使用多个应用于特定程度/特定类型失真的CNN小型网络，而每个CNN网络都需要进行预训练，因此导致了效率低下，而且最终结果的准确性也比较有限。基于此，当前对于混合失真照片的有效修复，仍然依赖于专业的技术人员以专业的设备和多种软件进行复杂的联合人工处理。这样的方式专业技术要求高，效率也低。

发明内容

本申请提供一种图像修复的方法和装置，对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。

为实现上述目的，本申请采用如下技术方案：

一种图像修复的方法，包括：

确定图像修复的阶段数N；所述N为正整数；

对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；

其中，所述每个阶段进行卷积神经网络的处理包括：

根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；

利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；

根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；