[发明专利]一种基于深度残差网络的可交互图像着色

权利要求书

1.一种基于深度残差学习的可交互图像着色方法，其特征在于，包括如下两个步骤：

步骤1、基于卷积神经网络的着色网络模型的设计；

步骤2、同时或单独实现两种着色方法的损失函数的设计；

步骤3、基于残差学习思想的残差神经网络模块的设计。

2.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤1中，基于卷积神经网络的着色网络模型的设计，具体包括如下两个步骤：

步骤2.1、基于深度学习相关的已有成果，选择卷积神经网络作为着色网络，输入通过卷积、下采样、上采样等操作最终输出ab通道，其中通过扩张卷积层扩大感受野。

步骤2.2、根据着色需要，确定网络模型的输入包括图像的L通道(灰度图)、L通道梯度图、颜色主题输入、彩色点输入，其中L通道梯度图用来优化边界颜色溢出的情况，颜色主题和彩色点作为两种着色方法的输入。

3.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤2中，基于卷积神经网络的着色模型，其损失函数包括如下部分：

步骤3.1、通过计算真实图像与输出图像之间的Huber函数，来约束输出的ab通道趋近于真实图像的ab通道：

步骤3.2、通过K-means算法，得到真实图像中数量最多的3-5种颜色，形成着色用的颜色主题，并且将每个像素映射到最接近的颜色，形成颜色映射图，通过计算颜色映射图与输出图像之间的Huber函数，来约束输出图像的ab通道趋近于颜色主题中的颜色：

步骤3.3、通过Sobel算法，可以得到图像的梯度图，通过计算真实图像的梯度图和输出图像的梯度图之间的MSE，来约束输出图像的纹理等信息进一步趋向于真实图像：

所以最终的损失函数为：

其中，在α₁＝0.9，α₂＝0.1，α₃＝10时取得最好效果。

4.根据权利要求1所述的基于深度残差学习的可交互图像着色方法，其特征在于，步骤3中，基于残差学习思想的残差模块的设计，具体包括如下部分：

步骤4.1、将步骤3中的着色网络的输出与灰度图融合，通过8层残差网络后，得到ab通道的残差结果，将其与着色网络的输出融合，对其进行修正，得到具有更多原图细节的图像。

步骤4.2、通过计算残差网络模块的输出与真实图像之间的差值，约束最终输出的ab通道趋近于真实图像的ab通道。