[发明专利]基于生成对抗网络的图像去马赛克方法

说明书

本发明属于图像处理、深度学习和卷积神经网络领域，为利用深度学习算法中的生成对抗网络实现数字图像的马赛克去除，提升数字图像的视觉质量。为此，本发明，基于生成对抗网络的图像去马赛克方法，步骤如下：(1)数据集的构建；(2)加入马赛克；(3)构建生成对抗网络模型；(4)训练生成对抗网络；(5)利用训练好的网络处理图像。本发明主要应用于图像处理场合。

技术领域

本发明属于图像处理、深度学习和卷积神经网络领域，涉及基于自然图像恢复的检测和识别等相关应用。具体讲,涉及基于生成对抗网络的图像去马赛克方法。

背景技术

信息技术飞速发展的今天，数字图像已经逐渐成为网络社交以及技术应用中最为普遍的信息载体之一。光学传感器价格低廉，性能优越，体积小巧，功耗往往较低。这些得天独厚的优势使得光学传感器很方便被放置于各种环境中，采集到的大量数字图像可以为种种应用提供支持。但是由于民用级别的光学传感器质量参差不齐，由于细节的缺失往往会出现数字图像中的马赛克；另一方面，互联网技术飞速发展，个人信息日益敏感，互联网中虽然存在着大量包含潜在信息的数字图像，但是由于用户常常利用马赛克来遮盖照片中的有用信息，导致这些图像质量低下，无法支持一系列基于图像的应用。因此，去除数字图像的马赛克，提升图像的视觉质量，得到清晰、细节丰富的图像对于各种应用都是尤为重要的。

以往的图像去马赛克算法往往基于图像的概率先验模型，或者基于滤波的方法在各种变换域中对图像进行处理，实现马赛克的去除和图像的恢复。然而传统算法的建模方式不够完善，马赛克去除效果并不高，并且在去除马赛克的同时会丢失图像的一部分高频信息，使得图像出现大面积的模糊。

深度学习技术在近几年获得了飞速发展，在图像识别、目标检测以及语音处理上取得了显著成就。生成对抗网络(Generative Adversarial Networks，GAN)是深度学习算法中的一种新型的网络，它的设计灵感来源于二元零和博弈过程。生成对抗网络利用卷积神经网络(Convolutional Neural Network，CNN)构建出两个部分：生成器和判别器，两者进行对抗式训练从而学习到数据的分布，实现图像转换或者合成任务。

[1]Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks[J].2016.

[2]Zhou R,Achanta R,Süsstrunk S.Deep Residual Network for JointDemosaicing and Super-Resolution[J].arXiv preprint arXiv:1802.06573,2018.

[3]Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarialnets[C]//Advances in neural information processing systems.2014:2672-2680。

发明内容

为克服现有技术的不足，本发明旨在利用深度学习算法中的生成对抗网络实现数字图像的马赛克去除，提升数字图像的视觉质量。为此，本发明采用的技术方案是，基于生成对抗网络的图像去马赛克方法，步骤如下：

(1)数据集的构建：选取ImageNet数据集作为生成对抗网络的训练，在ImageNet数据集中随机挑选m个种类的图像，每个种类随机挑选n张图像作为训练数据，每个类别n张图像以外的图像作为测试数据，构建出数据集；

(2)马赛克的加入：利用Matlab在10000张训练图像上随机位置上加入马赛克，马赛克的大小和程度都随机选取；