[发明专利]一种基于对比学习的全局马赛克去除方法

说明书

本发明公开了一种基于对比学习的全局马赛克去除方法，包括搭建对抗网络训练模型、训练对抗网络和去除马赛克步骤。本发明将全局对比学习网络和局部对比学习网络相结合训练生成对抗网络，解决了全局对比学习训练过程达到一定的阶段时，阶段损失值的不再减少的问题。全局对比损失从马赛克图像捕获全局特征表示到真实图像，并恢复它接近真实图像。局部对比损失函数有助于保持马赛克块与对应的真实图像对应区域之间正确的局部特征表示。只要少量样本就可以学习马赛克图像和真实图像之间复杂映射关系。

技术领域

本发明涉及一种马赛克去除方法，尤其涉及一种基于对比学习的全局马赛克去除方法，属于计算机视觉技术领域。

背景技术

为了保护隐私，互联网上每天都会出现大量的马赛克图片。当非法事件发生时，有必要将马赛克从它们中移除，并产生一个接近其真实图像的理想图像。全局拼接去除(GMR)是图像恢复的一个分支。随着生成对抗网络(GANs)的发展，近年来GMR的图像质量有了很大的进步。模式正则化生成对抗网络(MRGAN)的维护和修复是GMR的最佳监督模型。训练MRGAN模型需要建立了一个GANs模型来捕获从马赛克图像到真实图像的转换特征。借助转换特征，并将其马赛克图像恢复到接近真实的图像。MRGAN模型的挑战是需要大量的拼接图像及其对应的真实图像，对他们建立监督方式训练模型。如果样本数量较少，或者真实图像与拼接图像之间没有一一对应关系(例如图像只是来自同一个域的图像)，MRGAN就无法生成正确的恢复结果。

发明内容

本发明要解决的技术问题是提供一种基于对比学习的全局马赛克去除方法。为解决上述技术问题，本发明所采取的技术方案是：

一种基于对比学习的全局马赛克去除方法，包括以下步骤：

步骤1：搭建对抗网络训练模型：所述发生器网络训练模型包括对抗网络、全局对比学习网络和损失计算模块；所述对抗网络包括发生器网络模块、判别网络模块；所述发生器网络模块包括第一编码器网络单元和解码器网络单元；所述判别网络模块包括第二编码器网络单元；所述全局对比学习网络为多层结构，每层包括全局编码器、两层MLP全局网络；

全局对比学习网络用于捕获去除马赛克后的图像x_i′到参考图像x_k的图像级结构特征；

第一编码器网络单元的输出端接解码器网络单元的输入端，解码器网络的输出端分别接第二编码器网络单元、全局编码器的输入端，第二编码器的输出端接损失计算模块的输入端，损失计算模块的输出端接第一编码器网络单元和解码器网络单元的控制端；

步骤2：训练对抗网络，包括一下具体步骤：

步骤2-1：训练集中图像依次经发生器网络模块去除马赛克后分别输出至判别网络模块和全局对比学习网络，训练集中各图像x_i^m分别在原始图像x_i上增加一个特定的马赛克；将最小损失值设置为系统可以表示的最大值；

步骤2-2：判别网络模块用于计算对抗损失，判别去除马赛克后的图像x_i′与参考图像x_k是否为同一域图像，将判别结果反馈给发生器网络模块；对抗损失的计算方法为：

式中G为生成网络变换，D为判别网络变换；指x_i^m与训练集图像服从相同分布概率的数学期望；指x_i与生成网络输出图像服从相同分布概率的数学期望；

步骤2-3：全局学习：全局编码器捕获含马赛克图像到真实图像的全局特征表示，并将含马赛克图像恢复到接近真实图像的状态，计算全局损失：