[发明专利]一种基于生成对抗网络的灰度图片彩色化方法

说明书

一种基于生成对抗网络的灰度图片彩色化方法，结合DiscoGAN、Progressive Growing GAN、Wasserstein GAN和CGAN生成对抗网络，包括步骤如下：首先要收集和整理图片样本，并将样本分成两组，一组是N张灰度图片，另一组是N张彩色图片。然后，对本生成对抗网络的架构进行设计以期训练后的网络可以生成高分辨率、高质量图片。接着，将样本传入生成对抗网络开始训练，待生成对抗网络训练稳定后，使用PGGAN对生成图像的分辨率进行提升。在本网络中加入WGAN‑PG可以对原生成对抗网络进行改进，解决梯度不稳定和模式崩溃问题，并改善生成对抗网络优化的过程。最后，本网络中加入了CGAN的描述限制功能，它可以根据描述条件生成具有指定风格的图片。

技术领域

本发明涉及一种结合DiscoGAN，PGGAN，CGAN和WGAN的灰度图片彩色化方法，属于深度学习和图像生成技术领域。

背景技术

随着计算机硬件和神经网络领域的发展，人工智能逐渐得到了人们的重视，也在人们生活中发挥着越来越重要的作用。深度学习源于神经网络的发展，其概念由Hinton 等人于2006年提出，其目的是为了模拟人脑进行分析和解释数据。人们希望通过深度学习找到一个深层次的神经网络模型，这个模型可以表示在人工智能应用中遇到的各种数据之中的概率分布，这些应用包括图像处理、自然语言处理等。到目前为止，深度学习中最令人瞩目的成就之一就是判别模型，它可以接收一个高纬度输入并将其转化为一个分类标签。

深度学习可以分为有监督学习、半监督学习和无监督学习等几类。生成对抗网络就是一种典型的、非常有发展前景的无监督学习，其本质是一个“对抗”的过程，它是由 IanGoodfellow等人于2014年10月提出的一种通过对抗过程估计生成模型的神经网络模型。但是原始的生成对抗网络训练不稳定，生成器面临着梯度消失的问题，还经常出现模型崩溃问题(mode collapse)。这种情况一直持续到两年后WGAN的提出后才得以解决，WGAN中引入了Wasserstein距离，它相对KLD和JSD更加平滑，可以解决梯度消失(vanishing gradient)问题，并且提供了一个可靠的训练指标。

条件生成对抗网络(Conditional GAN)是紧接着原始生成对抗网络被提出来的，它背后的思想十分简单，就是给原始网络提供一些“暗示(hint)”来提醒它应该生成什么样的输出，这样原始的生成过程变成基于某些额外信息的生成。这个额外的“暗示”是直接拼接在原来输入上实现的，操作十分简单。

人类可以轻松地发现不同域数据之间的关系，但是对于机器来说，想要学习这个关系是非常有挑战性的，有时可能还需要专门制造一些成对的不同域数据传给机器来学习。为了解决这个问题，Taeksoo Kim等人发表了一篇名为Learning to Discover Cross-Domain Relations with Generative Adversarial Networks的论文，其中提出了跨域生成对抗网络(DiscoGAN)的概念。跨域生成对抗网络改变了原始生成对抗网络架构，在其中设置了双路生成对抗机制，并且在每一路中加入了重建过程。它可以通过接收无需配对的样本来发现不同域样本之间的关系。

如今灰度图片彩色化的过程大多是借助Photoshop或其他图像美化软件来完成的，方法是用色相和饱和度给某个区域单独着色，然后需要用户手动调整色相、饱和度以及明亮三个参数并且观察预览图直到用户觉得满意为止，有时对于特定图片甚至需要创建模板进行上色。对那些不熟悉Photoshop的人群来说这样的操作是十分复杂的，而且图像容易丢失细节。

发明内容