[发明专利]一种基于生成对抗式网络的图像着色方法及装置

说明书

本发明公开了一种基于生成对抗式网络的图像着色方法及装置，该方法包括：获取待着色图像；通过图像分类网络对待着色图像进行分类；根据分类结果，将待着色图像输入对应类别的生成对抗式网络中，对待着色图像中的每个像素值进行预测，输出每个像素的RGB值，最终生成一副彩色图像；判断生成的彩色图像是否满足要求；若满足要求，则将其作为最终的着色效果；否则，从网络上下载与待着色图像的结构和内容相似的图像组成新的数据集，利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成待着色图像对应的彩色图像。本发明有效改善了颜色错误，数据不足等问题。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于生成对抗式网络的图像着色方法及装置。

背景技术

随着计算机领域的发展，图像处理逐渐变成了一个热门话题，其中为图像着色更是引起大家的关注。人眼对色彩的敏感度明显高于黑白颜色，为黑白图像着色，让其图像内容丰富，有利于人们更好的理解图像信息。

近红外成像技术已被应用于捕捉人眼可见范围外的物体或者场景，并可应用于超出人类视觉能力的低光或无光条件下，如农业病虫害检测、军事领域的夜间监测和探测系统。与RGB图像相比，红外图像不利于用户理解，为了解决这一问题，常用的解决方法是将近红外图像与可见光图像进行图像融合，而对近红外图像进行着色也是一个不错的方法。

随着深度卷积网络的发展，越来越多的深度学习网络被应用于图像着色领域。但是由于深度学习需要极大的数据库且经常用欧几里得距离作为其损失函数，训练后着色图像容易出现颜色泄露或者颜色黯淡等情况。

发明内容

本发明提供了一种基于生成对抗式网络的图像着色方法及装置，以解决现有的对黑白图像着色的技术，存在着着色泄露，对数据依赖性强和颜色黯淡、颜色错误等技术问题，改善颜色错误，数据不足等问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供一种基于生成对抗式网络的图像着色方法，包括：

S1，获取待着色图像；

S2，通过预先训练好的图像分类网络对所述待着色图像进行分类；

S3，根据所述待着色图像的分类结果，将所述待着色图像输入对应类别的预先训练好的生成对抗式网络中，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的RGB值，最终生成一副彩色图像；

S4，判断生成的彩色图像是否满足预设质量要求；若满足预设质量要求，则将生成的彩色图像作为最终的着色效果；若不满足预设质量要求，则执行S5；

S5，从网络上下载与所述待着色图像的结构和内容相似的预设数量的图像组成新的数据集，并利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成所述待着色图像对应的彩色图像，然后返回S4。

进一步地，所述待着色图像为近红外图像或灰度图像。

进一步地，通过预先训练好的分类网络对所述待着色图像进行分类，包括：

建立图像分类网络模型，将所述待着色图像输入图像分类网络模型，提取待着色图像特征，再经过全连接网络进行分类，得到待着色图像的对应类别。

进一步地，当待着色图像为灰度图像时，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的RGB值，最终生成一副彩色图像，包括：

将待着色图像从RGB通道转换到Lab通道；

将待着色图像的L通道值输入到对应类别的生成对抗式网络中，利用生成对抗式网络对待着色图像的每一个像素的ab值进行预测；