[发明专利]一种基于深度神经网络的视频编码方法及装置、介质

权利要求书

1.一种基于深度神经网络的视频编码方法，其特征在于，包括：

对视频图像组中的待编码帧序列中第一设定帧图像进行编码，以得到初始编码结果；第一设定帧图像为关键帧图像；

对所述待编码帧序列进行像素级分割，以得到分割掩膜序列；所述待编码帧序列包括多个待编码帧图像，所述分割掩膜序列包括分别与待编码帧图像相对应的分割掩膜；

根据所述分割掩膜序列对所述待编码帧序列中第二设定帧图像进行编码，以得到图像重构结果；包括对关键帧的量化参数的调整；

利用所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；生成所述像素级的视频帧的过程包括：根据所述图像重构结果中的分割掩膜所在区域的像素预测出中间帧的光流；利用所述中间帧的光流和所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；生成所述像素级的视频帧的过程还包括：根据时间在前的中间帧的光流对时间在后的中间帧的光流进行形变处理，以得到初步生成结果；利用所述初步生成结果、所述中间帧的光流及所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；

通过图像分割方式，将所述像素级的视频帧与所述初始编码结果进行像素级图像融合。

2.根据权利要求1所述的基于深度神经网络的视频编码方法，其特征在于，预测出中间帧的光流的过程包括：

设定采样分布；

根据所述采样分布以及所述图像重构结果中的分割掩膜所在区域的像素预测出中间帧的光流。

3.根据权利要求1所述的基于深度神经网络的视频编码方法，其特征在于，对所述待编码帧序列进行像素级分割的过程包括：

获取所述待编码帧序列中各个待编码帧图像的基础特征；

通过所述各个待编码帧图像的基础特征生成所述分割掩膜序列。

4.根据权利要求3所述的基于深度神经网络的视频编码方法，其特征在于，对所述待编码帧序列进行像素级分割的过程还包括：

利用每帧图像的基础特征确定非刚性运动内容区域；

通过所述非刚性运动内容区域和所述每帧图像的基础特征生成所述分割掩膜序列。

5.根据权利要求1所述的基于深度神经网络的视频编码方法，其特征在于，生成所述像素级的视频帧的过程包括：

根据所述初始编码结果预测出三维体素特征；

利用所述三维体素特征和所述初始编码结果中的分割掩膜所在区域的像素生成像素级的视频帧。

6.一种基于深度神经网络的视频编码装置，其特征在于，包括：

初始编码模块，用于对视频图像组中的待编码帧序列中第一设定帧图像进行编码，以得到初始编码结果；第一设定帧图像为关键帧图像；

分割网络模块，用于对所述待编码帧序列进行像素级分割，以得到分割掩膜序列；所述待编码帧序列包括多个待编码帧图像，所述分割掩膜序列包括分别与待编码帧图像相对应的分割掩膜；

结果重构模块，用于根据所述分割掩膜序列对所述待编码帧序列中第二设定帧图像进行编码，以得到图像重构结果；结果重构模块用于对关键帧的量化参数的调整；

生成网络模块，用于利用所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；

预测网络模块，用于根据所述图像重构结果中的分割掩膜所在区域的像素预测出中间帧的光流；

所述生成网络模块，具体用于利用所述中间帧的光流和所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；所述生成网络模块具体用于根据时间在前的中间帧的光流对时间在后的中间帧的光流进行形变处理，以得到初步生成结果；所述生成网络模块利用所述初步生成结果、所述中间帧的光流及所述图像重构结果中的分割掩膜所在区域的像素生成像素级的视频帧；

图像融合模块，用于通过图像分割方式，将所述像素级的视频帧与所述初始编码结果进行像素级图像融合。

7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一权利要求所述的基于深度神经网络的视频编码方法。