[发明专利]一种视频染色方法、压缩方法、系统及电子设备

权利要求书

1.一种视频染色方法，其特征在于，包括：

使用神经网络从参考帧与目标帧的灰度信息中提取多层特征图；

基于所述多层特征图进行光流预测和光流优化；

利用光流优化获得的结果将所述参考帧中的颜色传播到所述目标帧上。

2.根据权利要求1所述的一种视频染色方法，其特征在于，所述光流预测，包括：

将所述多层特征图，按照尺寸由小到大进行排序，并逐层预测；

所述预测为：相邻尺寸的特征图中，利用较小尺寸的特征图的光流信息，预测较大尺寸的特征图的光流信息；

直至获得最大尺寸的特征图的光流信息，作为第一光流信息。

3.根据权利要求2所述的一种视频染色方法，其特征在于，所述光流优化，包括：将所述参考帧的灰度信息和所述第一光流信息迭代进行灰度传播与光流更新，获得第二光流信息。

4.根据权利要求3所述的一种视频染色方法，其特征在于，所述第二光流信息记为Δ^*(z)＝(u^*(z),v^*(z))，其中z＝(x,y)为特征图系数在二维坐标轴的位置，u^*(z)代表像素点在x轴方向上的运动信息，v^*(z)代表像素点在y轴方向上的运动信息，C₁(z)为参考帧颜色信息；

所述颜色传播通过函数实现，所述函数为：

其中

且

5.根据权利要求2所述的一种视频染色方法，其特征在于，所述光流预测，包括：

特征变形，所述特征变形包括：

最小尺寸对应的特征层，直接输出参考帧对应的特征图；

其他层通过变形函数实现特征变形，包括：

在预测较大尺寸的光流信息时，利用较小尺寸的光流信息对该尺寸下参考帧对应的特征图进行变形，得到变形后的特征图；

将第l个尺寸下的参考帧特征图记为第l-1层预测的光流信息记为w^(l-1)，则变形后的特征图为而U(w^(l-1))实现对w^(l-1)的上采样，使其在尺度上与对齐；

损失计算，所述损失计算包括：

输出特征变形后得到的特征图与同尺寸下目标帧对应特征图计算误差，将同尺寸下目标帧对应特征图记为则误差计算输出为

光流估计，所述光流预估包括：

通过神经网络实现，输入第l层尺寸下损失计算所得的误差∈^(l)、参考帧与目标帧对应的特征图输出该层下所得光流

6.根据权利要求3所述的一种视频染色方法，其特征在于，所述灰度传播通过输入参考帧的灰度及预测光流信息，输出目标帧的传播灰度信息，包括：

初次迭代时使用所述第一光流信息作为预测光流；

将第i-1次预测光流信息记为Δ^(i-1)(z)＝(u^(i-1)(z),v^(i-1)(z))，参考帧灰度信息记为I₁(z)，则第i次灰度传播通过以下函数实现：

其中而且

所述光流更新，包括：

衡量目标帧的传播灰度信息与真实灰度信息I₂(z)间的差距；

通过反向传播更新第i-1次预测光流信息记为Δ^(i-1)(z)，得到第i次预测光流信息记为Δ⁽ⁱ⁾(z)；

其中，所述差距计算为记为D关于Δ^(i-1)(z)的梯度，λ为更新步长，反向传播更新通过

迭代收敛或者最后一次光流更新后得到的光流信息为第二光流信息Δ^*(z)。