[发明专利]一种对黑白动漫视频的着色方法、装置、存储介质及终端

权利要求书

1.一种对黑白动漫视频的着色方法，其特征在于，所述方法包括：

将原始黑白动漫视频拆分为黑白动漫图片集；

构建第一彩色动漫样例图；

将所述黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；

将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；其中，所述预先训练的动漫图片着色模型包括编码器网络、颜色传递网络、颜色编码网络以及解码器网络；

对于所述黑白动漫图片集中的每一张黑白动漫图片，重复转换为Lab模式并与所述转换后的第一彩色动漫样例图输入预先训练的动漫图片着色模型中，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；

合并所述彩色动漫图片集，生成彩色动漫视频；

其中，所述将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片，包括：

将所述第一张黑白动漫图片的L通道与所述第一彩色动漫样例图的L通道输入所述颜色传递网络中，输出颜色传递矩阵；

将所述第一张黑白动漫图片输入所述编码器网络中进行卷积运算，输出编码特征图片；

将所述颜色传递矩阵输入所述颜色编码网络中，输出颜色编码特征；

将所述编码特征图片与所述颜色编码特征输入所述解码器网络中进行特征堆叠，输出第一彩色动漫图片；

其中，所述将所述第一张黑白动漫图片的L通道与所述第一彩色动漫样例图的L通道输入所述颜色传递网络中，输出颜色传递矩阵，包括：

颜色传递网络针对所述第一张黑白动漫图片与所述第一彩色动漫样例图进行卷积运算，生成第一张黑白动漫图片与第一彩色动漫样例图的特征编码；

颜色传递网络计算所述第一张黑白动漫图片与第一彩色动漫样例图的特征编码的余弦相似度，生成相似度矩阵；

颜色传递网络将所述第一彩色动漫样例图的ab通道与所述相似度矩阵作积后生成颜色传递矩阵。

2.根据权利要求1所述的方法，其特征在于，所述构建第一彩色动漫样例图，包括：

从所述黑白动漫图片集中获取第一张黑白动漫图片；

接收针对所述第一张黑白动漫图片的着色指令，基于所述着色指令将所述第一张黑白动漫图片着色为彩色图片，

将所述彩色图片确定为第一彩色动漫样例图；

或者，

获取与所述黑白动漫图片集中任一黑白动漫图片的内容相似度大于预设值的彩色图片，

将所述彩色图片确定为第一彩色动漫样例图。

3.根据权利要求1所述的方法，其特征在于，所述第一彩色动漫图片是通过计算所述第一张黑白动漫图片与所述第一彩色动漫样例图之间的颜色传递矩阵进行着色。

4.根据权利要求1所述的方法，其特征在于，按照以下步骤生成预先训练的动漫图片着色模型，包括：

采用卷积神经网络创建编码器网络、颜色编码网络、解码器网络以及颜色传递网络；

将所述编码器网络、解码器网络、颜色编码网络以及颜色传递网络进行连接，生成第一动漫图片着色模型；

采集多个彩色动漫图片；

将所述多个彩色动漫图片中每个彩色图片转换为黑白动漫图片，生成多个黑白动漫图片；

将所述多个黑白动漫图片与所述多个彩色动漫图片输入所述第一动漫图片着色模型中进行训练；

当所述训练的迭代次数到达预设次数时，生成第二动漫图片着色模型；

从所述多个黑白动漫图片中选取任一黑白动漫图片，并将所述选取的任一黑白动漫图片输入所述第二动漫图片着色模型，输出目标彩色图片；

计算所述选取的任一黑白动漫图片对应的彩色图片与所述目标彩色图片之间的光流信息的差异百分比；

根据所述光流信息的差异百分比生成预先训练的动漫图片着色模型。