[发明专利]一种基于深度残差网络的可交互图像着色

说明书

深度学习(Deep Learning)技术近年来在图像处理领域有不错的成果，其中一些优秀的图像着色方法虽然达到了逼真的效果，但仍有提升空间，并且在使用体验上有一定的提升空间。本发明提出一种基于深度残差网络的可交互图像着色；其针对灰度图着色。主要过程为：首先基于卷积神经网络(Convolution Neural Network，CNN)，设计了一个可同时输入颜色主题和彩色点两种着色输入，并最终输出相关灰度图像的ab通道的网络模型，通过在网络中输入灰度图的L通道梯度图来优化图像边缘部分着色效果，并为该模型设计了合适的损失函数来实现同时或者单独使用两种着色方法进行着色，同时得到自然真实的着色效果。同时本发明通过学习残差思想，在着色网络后添加残差神经网络(Residual Neural Network，RNN)来学习CNN网络输出ab通道的残差图像对结果进行修正，从而进一步提高着色效果。

技术领域

本发明涉及深度学习和图像着色领域，可以应用于图像着色，通过颜色主题和彩色点对图像进行全局和局部着色。

背景技术

图像处理(image processing)是指将图像信号转换成数字信号，并利用计算机对其进行处理的过程。在图像处理包含的各种方向中，图像着色(image colorization)一直是图像处理领域的重要组成部分，其目的简单来说，就是为目标灰度图像中的每个像素分配一个颜色值。

目前已有的方法可以根据着色操作的交互方式分为3类：用户指导着色(User-guide Colorization)，在传统算法中，通过在相似纹理上扩散用户添加的颜色进行着色，而在近年的深度学习方法中，将用户添加的颜色与灰度图同时作为网络输入，网络通过损失函数的约束来学习正确的颜色，从而实现着色；基于示例的半自动着色(Example-basedSemi-automatic Colorization)，即使用与灰度图内容相似的参考图像来进行颜色转移，将参考图像中的颜色转移到灰度图中相似的纹理上，以达到着色的目的；全自动着色(Automatic Colorization)即算法仅通过分析灰度图中的纹理等信息，自动为图像的各个部分选择合适的颜色进行着色。第一种方法适合愿意花费较多时间和经历来为图像增加颜色点或笔画来进行精细着色的用户，后面两种方法适合希望花费较少时间来为批量图像做大致着色的用户。

深度学习在图像着色上有快速、高效、效果好等有点，目前已有的基于深度学习的着色方法能实现比较真实自然的着色效果，但是都只能单独使用参考图像或颜色直方图等方法进行全局着色，或只能单独使用彩色点或涂鸦进行局部着色，不能很好地满足广泛用户的使用需求，比如仅使用全局着色时，不能仅修改不满意区域的羞涩；仅使用局部着色时，需要为图像的每个部分添加颜色，这可能会花费大量时间。

本发明基于卷积神经网络的基础，搭建了可以同时融合颜色主题和彩色点对图像进行着色的网络，并设计了合适的损失函数实现了两种着色方式可以单独或同时进行的可交互图像着色方法，同时保证了着色结果的自然和真实。在此基础上，基于残差学习思想搭建了残差网络模块，在着色网络结果的基础上训练输出残差图像，对着色网络输出的ab通道进行修正，进一步提高了着色效果。所以，本发明在保证着色效果的基础上，实现了新颖的，且更适合用户操作的着色方式，进一步提高了深度学习着色的实际意义。

发明内容

本发明将基于颜色主题着色的全局着色方式和基于彩色点着色的局部着色方式结合起来，在深度学习的基础上，搭建了同时融合两种着色方式的卷积神经网络，该网络最终输出 ab通道，与输入的L通道结合得到被着色的图像，为了达到该效果，本发明也为该网络设计了一个合适的损失函数来约束网络学习。接着，在着色网络的基础上，搭建了残差网络模块，来学习一个残差图像修正输出的ab通道，使最终着色结果更自然真实。

本发明内容由两个部分组成，首先是基于卷积神经网络的着色网络的搭建，然后是基于残差学习思想的残差网络模块的搭建。

1.基于卷积神经网络的着色网络的搭建