[发明专利]视频上色方法、装置、设备及存储介质

权利要求书

1.一种视频上色方法，其特征在于，包括：

获得目标视频片段中的分帧图像，所述分帧图像中包括目标标记图像；

响应对所述目标标记图像的选定像素点的颜色标记操作，获得与所述目标标记图像对应的着色参照图像，所述颜色标记操作表示为像素点标记颜色的操作；

通过图像上色神经网络模型根据所述着色参照图像对所述目标标记图像进行上色处理，生成所述目标标记图像的上色参考图像；

通过视频上色神经网络模型根据所述目标标记图像的上色参考图像对所述目标视频片段的分帧图像进行上色处理，获得所述目标视频片段的分帧图像的上色图像。

2.根据权利要求1所述的方法，其特征在于，所述响应对所述目标标记图像的选定像素点的颜色标记操作，获得与所述目标标记图像对应的着色参照图像包括：

生成与所述目标标记图像对应的初始参照图像；

响应对所述初始参照图像上的选定像素点的颜色标记操作，确定标记颜色和所述选定像素点的像素坐标；

在所述初始参照图像的所述选定像素点的像素坐标的对应位置填充所述标记颜色，获得所述着色参照图像。

3.根据权利要求2所述的方法，其特征在于，所述在所述初始参照图像的所述选定像素点的像素坐标的对应位置填充所述标记颜色包括：

从所述标记的颜色中解析出与所述标记的颜色对应的红绿蓝通道值；

在所述初始参照图像的所述选定像素点的位置处填充所述红绿蓝通道值。

4.根据权利要求2所述的方法，其特征在于，所述生成与所述目标标记图像对应的初始参照图像包括：

获取所述目标标记图像的尺寸；

生成与所述目标标记图像的尺寸对应的初始参照图像；

设置所述初始参照图像的各个像素点的灰度值为零。

5.根据权利要求1所述的方法，其特征在于，所述通过图像上色神经网络模型根据所述着色参照图像对所述目标标记图像进行上色处理，生成所述目标标记图像的上色参考图像包括：

将所述目标标记图像和所述着色参照图像输入所述图像上色神经网络模型，对所述目标标记图像和所述着色参照图像进行卷积处理获得第一特征图；

将所述第一特征图通过所述图像上色神经网络模型进行空洞卷积处理获得第二特征图；

将所述第二特征图通过所述图像上色神经网络模型进行卷积处理获得上色预测图像；

对所述第一特征图和所述第二特征图进行采样，获得所述上色预测图像的颜色分布；

根据所述上色预测图像及所述上色预测图像的颜色分布获得所述目标标记图像的上色参考图像。

6.根据权利要求1所述的方法，其特征在于，所述通过视频上色神经网络模型根据所述目标标记图像的上色参考图像对所述目标视频片段的分帧图像进行上色处理包括：

通过所述视频上色神经网络模型对所述目标视频片段的分帧图像进行时域卷积处理，获得分帧图像时域特征；

通过所述视频上色神经网络模型对所述目标视频片段的上色参考图像进行空间卷积处理，获得上色参考空间特征；

基于有源参考注意力机制对所述分帧图像时域特征和所述上色参考空间特征进行融合，以获得所述目标视频片段的分帧图像的上色图像。

7.根据权利要求1所述的方法，其特征在于，还包括：

将目标视频进行分帧，获得所述目标视频的分帧图像；

获取所述目标视频的各个分帧图像与对应的上一分帧图像之间的帧差图像；

获得各个帧差图像的像素点灰度均值；

根据所述各个帧差图像的像素点灰度均值确定所述目标视频的分帧图像中的突变帧；

根据所述突变帧在所述目标视频中的位置对所述目标视频进行切割，获得多个所述目标视频片段。

8.根据权利要求7所述的方法，其特征在于，所述根据所述帧差图像的像素点灰度均值确定所述目标视频的分帧图像中的突变帧包括：

将所述各个帧差图像的像素点灰度均值与对应上一帧差图像的像素点灰度均值进行比较，获得所述突变帧。