[发明专利]一种视频染色方法、压缩方法、系统及电子设备

说明书

本发明提供一种视频染色方法，包括：使用神经网络从参考帧与目标帧的灰度信息中提取多层特征图；基于所述多层特征图进行光流预测和光流优化；利用光流优化获得的结果将所述参考帧中的颜色传播到所述目标帧上。本发明改善了光流长时预测的准确率，所生成的彩色视频帧保真度更优、色彩更加准确，具有极强的实际应用价值。应用在视频编码任务上，可以在保持重构质量的前提下达到减少码率的效果。

技术领域

本发明涉及基于光流优化的视频染色方案，具体是一种视频染色方法、压缩方法、系统及电子设备。

背景技术

视频染色是利用参考颜色信息对仅具有灰度信息的视频帧上色的过程。视频染色的参考信息可以是使用者手动指定的，也可以是从参考图像中提取的。而基于训练和学习的视频染色方法也随着深度学习技术的发展而兴起。经过对现有技术的文献检索发现，Cheng等人在2015年的《Internat ional Conference on Computer Vision》(ICCV)会议上发表了“Deep Colorizat ion”提出了使用深度学习技术解决染色问题，该方法通过深度神经网络生成灰度图像的颜色信息、并采用联合双边滤波进一步改善颜色信息。Zhang等人在2019年的《IEEE Conference on Computer Vision and Pattern Recognition》(CVPR)会议上发表了“Deep exemplar-based video colorization”利用VGG-net提取彩色视频帧与灰度视频帧的局部特征，使用相关矩阵计算不同位置的局部特征的全局相关性，并采用神经网络对灰度视频帧进行染色。而基于光流的染色方法则使用手工设计的方法实现光流预测和颜色传播。Xia等人在2016年的《IEEE Internat ional Conference on ImageProcessing》(ICIP)会议上发表“Robust and automatic video colorization viamultiframe reordering refinement”使用稠密光流估计技术预测光流，并利用置信传播实现颜色传播。

然而，上述方法中：基于深度神经网络的染色方法受限于训练所使用的数据集，若应用于与训练数据集颜色分布有明显区别的视频上，在染色过程中会出现明显的色差。此外，基于光流的方法在长时预测的情况下，染色准确率下降十分明显。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种视频染色方法、压缩方法、系统及电子设备。

根据本发明的一个方面，提供一种视频染色方法，包括：

使用神经网络从参考帧与目标帧的灰度信息中提取多层特征图；

基于所述多层特征图进行光流预测和光流优化；

利用光流优化获得的结果将所述参考帧中的颜色传播到所述目标帧上。

优选地，所述光流预测，包括：

将所述多层特征图，按照尺寸由小到大的顺序，进行排序；

相邻特征图中，逐层利用较小尺寸的特征图的光流信息，预测较大尺寸的特征图的光流信息；

直至获得最大尺寸的特征图的光流信息，作为第一光流信息。

优选地，所述光流优化，包括：将所述参考帧的灰度信息和所述第一光流信息迭代进行灰度传播与光流更新，获得第二光流信息。

优选地，第二光流信息记为Δ^*(z)＝(u^*(z),v^*(z))，其中z＝(x,y)为特征图系数在二维坐标轴的位置，u^*(z)代表像素点在x轴方向上的运动信息，v^*(z)代表像素点在y轴方向上的运动信息，C₁(z)为参考帧颜色信息；

所述颜色传播通过函数实现，所述函数为：