[发明专利]基于参考图颜色风格的灰度图像着色方法

说明书

本发明公开了一种基于参考图颜色风格的灰度图像着色方法，可以作为线稿及黑白图像上色这一类问题的解决方案。本发明具体实施包括如下步骤：1.拟定上色图像类别库，根据类别收集彩色图像数据集，并对其进行线稿提取或灰度化，以及提取其颜色直方图信息。2.将彩色图像、线稿或灰度图像、颜色直方图信息作为训练集，输入网络中训练，得到对应该类别的着色模型。3.将待上色图像重新输入网络，使用步骤2中得到的模型进行图像着色。4.评估着色结果。本发明所提出的基于参考图颜色风格的灰度图像着色方法可以解决各种类别的线稿、黑白图像着色问题，并且在实践中证明着色效果良好。

技术领域

本发明属于计算机技术及图像处理领域，尤其涉及一种基于参考图颜色风格的灰度图像着色方法。

背景技术

图像上色是为了还原、增强原图像的表达效果，提高其视觉感受，还能丰富图像的语义，提高其应用价值。最早在19世纪，就流行以手工上色的方法来还原黑白照片等，随着技术发展，图像上色在影视处理、动漫艺术等领域得到了广泛的应用。如漫画行业，利用图像上色技术，能够解决大量黑白线稿上色费时费力等问题，节约绘制成本，且不影响购买者的阅读体验；在电影行业，早期黑白电影的观看体验较差，利用图像上色将黑白电影转为彩色电影，观众能在欣赏经典的同时获得视觉享受；对医学影像进行着色，也有助于医生对病人的病变部位有一个更加直观的观察和分析。

图像上色技术是图像处理领域一个活跃且具有挑战性的课题，传统着色方法分为两种，一类是基于颜色扩展的着色方法，另一类是基于颜色传递的着色方法。而机器学习的发展与在该课题上的应用，例如使用卷积神经网络学习从灰度图像到彩色图像的映射等，减轻了传统方法下人为工作量，并增加了上色效果的丰富性与真实性。尽管卷积神经网络的应用仍是一种较为主流的方法，它还是存在着损失函数设计复杂等的问题，面对多样化的图像上色需求，需要人为设计不同的损失函数，否则极易产生结果模糊等的问题。

生成对抗网络(Generative Adversarial Networks，GANs)，是近年来复杂分布上无监督学习最具前景的方法之一。生成对抗网络的模型通过框架中两个模块，生成模型和判别模型的互相博弈，产生相当好的输出。而它在图像生成这一领域的应用也取得了很大的成功，特别是在图像上色问题上，利用生成对抗网络可以使一个通用的网络结构与损失函数解决不同类型的图像上色问题。

本发明提出了一种基于参考图颜色风格的灰度图像着色方法，利用生成对抗网络进行图像生成，并且通过在图像上色任务中引入注意力机制，可以作为多类图像上色问题的解决方案。

发明内容

本发明公开了一种基于参考图颜色风格的灰度图像着色方法。其目的是利用生成对抗网络训练模型，得到关于线稿、灰度图像上色这一类问题的解决方法，生成具有指定颜色风格的彩色图像。

本发明解决其技术问题所采用的技术方案如下：

步骤1：按照希望进行着色的图像类别收集彩色图像，构建彩色图像数据库，并进行预处理，采用双线性插值法调整图像大小至统一尺寸；

步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息制作成颜色提示信息；

所述的线稿提取采用XDoG算子，计算公式如下：

d(i,j)＝img1(i,j)-γ*img2(i,j)

其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为将彩色图像经过两个不同尺度的高斯差分滤波后得到图像，γ是用于调整高斯差分滤波的截止效果强度的参数；

通过设定阈值ε，对提取的初始线稿图像进行阈值操作，得到最终线稿图像：

其中，d′为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数；