[发明专利]基于机器学习的视频压缩

权利要求书

1.一种用于压缩目标视频的计算机实施的方法，所述方法在包括一个或更多个物理计算机处理器和非暂时性电子存储装置的计算机系统中实施，其包括：

从所述非暂时性电子存储装置获取所述目标视频；

利用所述一个或更多个物理计算机处理器从所述目标视频中提取多个帧，其中所述多个帧包括关键帧和目标帧；以及

利用所述一个或更多个物理计算机处理器，基于所述关键帧和所述目标帧之间的像素的位移生成估计的光流；

利用所述一个或更多个物理计算机处理器，通过将所述估计的光流应用于所述关键帧来生成扭曲的目标帧，其中所述扭曲的目标帧包括在所述关键帧中不可见的缺失元素；

利用所述一个或更多个物理计算机处理器，使用补充信息识别所述扭曲的目标帧中的所述缺失元素；

利用所述一个或更多个物理计算机处理器，通过将所述扭曲的目标帧应用于已训练的内插模型，合成来自所述扭曲的目标帧的所述缺失元素，所述已训练的内插模型已经使用内插训练数据被训练，其中所述内插训练数据包括(i)用户定义的值和(ii)多组帧，并且其中给定的一组帧包括先前训练帧、目标训练帧和后续训练帧；以及

利用所述一个或更多个物理计算机处理器生成合成目标帧；

其中所述补充信息包括所述目标帧、所述扭曲的目标帧中给定对象的给定的估计光流的幅度和深度图中的一个或更多个。

2.根据权利要求1所述的计算机实施的方法，其中识别所述缺失元素包括：

基于所述给定对象的所述给定的估计光流的所述幅度，当所述幅度达到阈值时，利用所述一个或更多个物理计算机处理器识别所述给定对象作为前景对象；以及

使用所述多个帧之间的所述前景对象的位移，利用所述一个或更多个物理计算机处理器识别所述扭曲的目标帧的背景中的所述缺失元素。

3.根据权利要求1所述的计算机实施的方法，其中识别所述缺失元素包括：

基于所述多个帧之间的另一个对象的深度变化，使用所述给定的估计光流，利用所述一个或更多个物理计算机处理器识别所述缺失元素；

利用所述一个或更多个物理计算机处理器生成应用于所述缺失元素的元素；以及

利用所述一个或更多个物理计算机处理器生成所述合成目标帧。

4.根据权利要求1所述的计算机实施的方法，其中，所述已训练的内插模型包括卷积神经网络。

5.根据权利要求1所述的计算机实施的方法，还包括：

利用所述一个或更多个物理计算机处理器编码所述合成目标帧以生成编码的合成目标帧；以及

利用所述一个或更多个物理计算机处理器，基于所述编码的合成目标帧编码辅助信息，其中所述辅助信息包括所述估计的光流和掩码中的一个或更多个。

6.一种用于压缩目标视频的系统，其包括：

非暂时性电子存储装置；以及

一个或更多个物理计算机处理器，由机器可读指令配置为：

从所述非暂时性电子存储装置获取所述目标视频；

利用所述一个或更多个物理计算机处理器从所述目标视频中提取多个帧，其中所述多个帧包括关键帧和目标帧；

利用所述一个或更多个物理计算机处理器，基于所述关键帧和所述目标帧之间的像素位移生成估计的光流；

利用所述一个或更多个物理计算机处理器，通过将所述估计的光流应用于所述关键帧来生成扭曲的目标帧，其中所述扭曲的目标帧包括在所述关键帧中不可见的缺失元素；

利用所述一个或更多个物理计算机处理器，使用补充信息识别所述扭曲的目标帧中的所述缺失元素；

利用所述一个或更多个物理计算机处理器，通过将所述扭曲的目标帧应用于已训练的内插模型，合成来自所述扭曲的目标帧的所述缺失元素，所述已训练的内插模型已经使用内插训练数据被训练，其中所述内插训练数据包括(i)用户定义的值和(ii)多组帧，并且其中给定的一组帧包括先前训练帧、目标训练帧和后续训练帧；以及

利用所述一个或更多个物理计算机处理器生成合成目标帧；

其中所述补充信息包括所述目标帧、所述扭曲的目标帧中给定对象的给定的估计光流的幅度和深度图中的一个或更多个。