[发明专利]基于卷积神经网络的黑白人物图片生成多种合理着色方法

权利要求书

1.一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：包括以下步骤：

步骤S1：选择训练数据集；

步骤S2：构建本地提示网络；

步骤S3：构建全局提示网络；

步骤S4：构建主着色网络；

步骤S5：生成着色界面；

步骤S2中：本地提示网络使用稀疏的添加点作为输入，用于描述输入、模拟添加点以及定义界面；具体包括以下步骤：

步骤S21：给定用于训练的彩色图像，将图像转换为灰度和CIE Lab色彩空间；

步骤S22：将灰度图像作为卷积神经网络模型的输入，将CIE Lab颜色空间的a、b分量作为卷积神经网络模型的目标输出；

步骤S23：将稀疏的添加点与输入的灰度图像级联；

步骤S24：在每个像素处评估损失函数l_δ，并将所有像素处的损失函数相加在一起用以评估整个图像的损失函数L：

式中，X为输入的灰度图像，U为用户张量，θ为卷积神经网络F函数的参数，Y是系统输出，h与w分别对应输入灰度图像的高和宽，q为图像类别；

步骤S25：对每个像素，预测输出颜色概率分布为：

式中，R是实数集，Q是量化色箱的数量；采用CIE Lab色彩空间的参数，将ab空间分成10×10个分箱；

步骤S26：对每个像素采用交叉熵损失函数来测量预测人物图像和地面真实颜色分布Z之间的距离，并且对所有像素预测的距离结果进行求和；

步骤S3中，全局提示网络的输入没有空间信息，选择将信息整合到主着色网络的中间；其中，全局提示网络的输入通过4个conv-relu层进行处理，每个conv-relu层的内核大小为1×1和512个通道；用户提供全局统计量，由全局直方图和平均图像饱和度描述；通过使用双线性插值将颜色Y′调整为四分之一分辨率来计算全局直方图，在量化的ab空间中对每个像素进行编码，并对空间进行平均；通过将地面真实图像转换为HSV色彩空间并在空间上平均S信道来计算饱和度；在训练过程中随机地向网络显示地面真实颜色分布以及地面真实饱和度；

步骤S5具体为：采用构建的本地提示网络输入添加点以及预测图像的颜色分布，用以定义着色界面的功能；采用全局提示网络将结果添加到主着色网络中用于输出。

2.根据权利要求1所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：步骤S1具体为：卷积神经网络的训练图像采用LFW数据集和ImageNet数据集，并使用CIE Lab颜色空间；其中，正样本全部来自LFW数据集中的人脸图片，负样本是从ImageNet数据集中选择的背景。

3.根据权利要求1所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：所述地面真实颜色分布Z采用软编码方案的地面真彩色Y″编码，真实的ab′颜色值表示为其10个最近的箱中心的凸组合，用高斯核函数进行加权。

4.根据权利要求1所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：步骤S2还包括：预测每个系数像素处的颜色分布，并以灰度和用户点为条件推荐给用户。

5.根据权利要求4所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：为了提供离散的颜色建议，软化查询像素处的softmax分布，使其不那么高峰，并执行加权k均值聚类来查找分布模式。

6.根据权利要求1所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：步骤S4中，主着色网络的主要分支采用U-Net架构，该着色网络由10个卷积块构成，分别为conv1-10；在conv1-4中，每个块的特征张量在空间上逐渐减半，特征维数加倍，每个块包含2-3个conv-relu对；在下半部分conv7-10中，空间分辨率被恢复，特征维数减半；在conv5-6中，使用具有因子2的扩张卷积；其中，空间分辨率的变化通过二次采样或上采样操作实现，每个卷积使用3×3内核。

7.根据权利要求6所述的一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法，其特征在于：步骤S4中还包括：添加对称快捷连接以帮助网络恢复空间信息。