[发明专利]基于参考图颜色风格的灰度图像着色方法

权利要求书

1.基于参考图颜色风格的灰度图像着色方法，其特征在于，包括以下步骤：

步骤1：构建特定类别的彩色图像数据库并进行预处理，采用双线性插值法调整图像大小至统一尺寸；

步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息；

所述的线稿提取采用XDoG算子，计算公式如下：

d(i,j)＝img1(i,j)-γ*img2(i,j)

其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为将彩色图像经过两个不同尺度的高斯差分滤波后得到图像，γ是用于调整高斯差分滤波的截止效果强度的参数；

通过设定阈值ε，对提取的初始线稿图像进行阈值操作，得到最终线稿图像：

其中，d′为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数；

步骤3：构建条件生成对抗网络，包括生成器和鉴别器；将步骤2中得到的线稿图像与颜色直方图信息输入到生成器中进行卷积处理，然后将真实彩色图像、生成器生成的彩色图像、以及标签图像一起作为鉴别器的输入，对彩色图像的真假进行鉴别，完成对条件生成对抗网络的训练，将训练结束后的生成器作为对应类别图像的着色模型；所述的标签图像为步骤2中得到的线稿图像或灰度图像；

步骤4：使用步骤3得到的着色模型对同类别的线稿图像或灰度图像进行着色，生成着色后的彩色图像。

2.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的生成器为一个包含下采样和上采样的U-Net结构，首先将输入m*n*3统一大小的线稿图像和颜色直方图信息经过1个卷积层和N个下采样层进行下采样操作；其中m和n分别为图像的长和宽，N为生成器网络结构的下采样层数；

然后再采用N个上采样层进行上采样操作，并在前两层上采样层之后分别引入一层自注意力层；最后一层上采样层的输出结果再经过Relu激活层、卷积层、Tanh激活层最终生成处理后的彩色图像。

3.如权利要求2所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述的下采样和上采样层各取6层，输入图像大小为512*512*3。

4.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的鉴别器对输入的图片进行分块预测，其输入为生成器生成的彩色图像、真实彩色图像，并以线稿图像或灰度图像作为标签图像一同输入；经过多层卷积，最终生成M*K*1大小的预测结果，其中M*K为最终分块的个数；再综合M*K块的预测结果，得到整体图像为真或假的判别结果，即鉴别器的输出，真为1，假为0。

5.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述条件生成对抗网络的目标函数包括对抗损失和L1损失，表示为：

L_L1(G)＝E_x,y,z[||x-G(z|y)||₁]

其中，L_cGAN为对抗损失，L_L1为L1损失，x为真实彩色图像，z为随机噪声，y为标签图像，E(*)表示分布函数的期望值，G(*)为生成器的输出，D(*)为鉴别器的输出，D(x|y)为以真实彩色图像和标签图像作为输入时的鉴别器的输出，p_data(x)为相同类别下的彩色图像数据库，p_z(z)为输入噪声分布，G(z|y)为以随机噪声和标签图像作为输入时的生成器的输出,D(x,G(*))为以真实彩色图像和生成器的输出图像作为输入时鉴别器的输出；λ为权重参数，||*||₁为l1范数。

6.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，步骤2中所述的图像灰度化采用加权平均灰度处理方法，其计算公式如下：

gray(i,j)＝0.30×R(i,j)+0.59×G(i,j)+0.11×B(i,j)

其中，(i,j)为像素点坐标，R、G、B分别为图像三通道分量，gray(i,j)为将彩色图像进行灰度化处理后的结果。