[发明专利]对线稿图像进行上色的方法、设备以及存储介质

权利要求书

1.一种对线稿图像进行上色的方法，其特征在于，包括：

获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及

利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

2.根据权利要求1所述的方法，其特征在于，利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理的操作，包括：

利用包括多个卷积层的第一卷积模型，从所述第一线稿图像中提取线稿图像特征；

利用包括多个卷积层的第二卷积模型，从所述第一参考图像中提取参考图像特征；

利用包括多个卷积层的第三卷积模型，基于所述第一线稿图像特征以及所述参考图像特征，生成编码的色稿图像特征，其中所述色稿图像特征包含色稿图像具有的区域划分以及区域色彩信息；以及

利用包括多个卷积层的第四卷积模型，基于所述色稿图像特征，生成第一色稿图像作为上色后的所述线稿图像。

3.根据权利要求2所述的方法，其特征在于，还包括通过以下操作对所述基于机器学习训练的模型进行训练：

获取第二色稿图像以及第二参考图像；

基于所获取的第二色稿图像生成第二线稿图像；

基于所述第二线稿图像以及所述第二参考图像，利用所述基于机器学习训练的模型，对所述第二线稿图像进行上色处理；

对所述第二色稿图像以及上色处理后的所述第二线稿图像进行比对；以及

利用所述比对后的结果，对所述基于机器学习训练的模型进行优化。

4.根据权利要求3所述的方法，其特征在于，对所述第二色稿图像以及上色处理后的所述第二线稿图像进行比对的操作，包括计算所述第二色稿图像以及上色处理后的所述第二线稿图像之间的L1空间距离，以及对所述基于机器学习训练的模型进行优化的操作，包括：

将所述L1空间距离作为损失函数，计算所述损失函数的梯度；以及

基于所述梯度，根据随机梯度下降原理对所述基于机器学习训练的模型进行优化。

5.根据权利要求4所述的方法，其特征在于，所述优化包括对所述机器学习训练的模型进行以下处理中的至少一种：参数二值化、推理以及剪枝。

6.根据权利要求1所述的方法，其特征在于，通过以下操作对所述基于机器学习训练的模型进行评估：

获取第三线稿图像、第三参考图像以及与所述第三线稿图像对应的真实色稿图像；

基于所述第三线稿图像以及所述第三参考图像，利用所述基于机器学习训练的模型生成第三色稿图像；

计算所述第三色稿图像与所述真实色稿图像的第一相似度以及所述第三色稿图像与所述第三参考图像的第二相似度；

计算所述第一相似度与所述第二相似度的相似度之和；以及

利用所计算的相似度之和，评估所述第三色稿是否在保证内容不变的前提下按照所述第三参考图像上色。

7.根据权利要求6所述的方法，其特征在于，所述第一相似度为选自以下各项中的任意一项相似度：结构相似度、特征相似度以及多层级结构相似度。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。

9.一种对线稿图像进行上色的设备(1200)，其特征在于，包括：

处理器(1210)；以及

存储器(1220)，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及

利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

10.一种对线稿图像进行上色的设备(1300)，其特征在于，包括：

图像获取模块(1310)，用于获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及

上色模块(1320)，用于利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。