[发明专利]基于机器学习的视频压缩有效
申请号: | 201910735508.9 | 申请日: | 2019-08-09 |
公开(公告)号: | CN110830802B | 公开(公告)日: | 2023-08-22 |
发明(设计)人: | C·施罗尔斯;S·肖布;E·多格特;J·麦克菲伦;S·拉布罗齐;A·德杰洛瓦 | 申请(专利权)人: | 迪斯尼企业公司 |
主分类号: | H04N19/139 | 分类号: | H04N19/139;H04N19/149;H04N19/172;H04N19/48 |
代理公司: | 北京纪凯知识产权代理有限公司 11245 | 代理人: | 李英 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器 学习 视频压缩 | ||
本申请公开了基于机器学习的视频压缩。公开了用于压缩目标视频的系统和方法。计算机实施的方法可以使用包括一个或更多个物理计算机处理器和非暂时性电子存储装置的计算机系统。该计算机实施的方法可以包括:获得目标视频、从目标视频提取一个或更多个帧以及基于一个或更多个帧之间的像素的位移生成估计的光流。一个或更多个帧可以包括关键帧和目标帧中的一个或更多个。
相关申请的交叉引用
本申请要求2018年8月10日提交的美国专利申请号62/717,470的优先权,其通过参考全部并入本文。
技术领域
本公开总体涉及视频压缩。
发明内容
本公开的实施例包括使用机器学习来压缩视频的系统和方法。根据本文描述的技术,公开了一种用于压缩目标视频的计算机实施的方法。计算机实施的方法可以在计算机系统中实施,该计算机系统可以包括一个或更多个物理计算机处理器和非暂时性电子存储装置。计算机实施的方法可以包括从非暂时性电子存储装置获得目标视频。计算机实施的方法可以包括利用一个或更多个物理计算机处理器从目标视频中提取一个或更多个帧。一个或更多个帧可以包括关键帧和目标帧中的一个或更多个。计算机实施的方法还可以包括利用一个或更多个物理计算机处理器,基于一个或更多个帧之间的像素的位移来生成估计的光流。
在实施例中,像素的位移可以在关键帧和/或目标帧之间。
在实施例中,计算机实施的方法可以进一步包括利用一个或更多个物理计算机处理器将估计的光流应用于已训练的光流模型以生成精细的光流。已训练的光流模型可以通过使用光流训练数据已经被训练。光流训练数据可以包括(i)光流数据,(ii)对应的残差,(iii)对应的扭曲的帧和/或(iv)对应的目标帧。
在实施例中,计算机实施的方法还可以包括利用一个或更多个物理计算机处理器,通过将估计的光流应用于关键帧,生成扭曲的目标帧。扭曲的目标帧可以包括在关键帧中不可见的缺失元素。计算机实施的方法还可以包括利用一个或更多个物理计算机处理器使用补充信息识别扭曲的目标帧中的缺失元素。该计算机实施的方法可以包括利用一个或更多个物理计算机处理器,通过将扭曲的目标帧应用于已训练的内插模型,从扭曲的目标帧合成缺失元素。已训练的内插模型可以使用内插训练数据已经被训练。内插训练数据可以包括(i)用户定义的值和/或(ii)多组帧。给定的一组帧可以包括先前训练帧、目标训练帧和/或后续训练帧。计算机实施的方法还可以包括利用一个或更多个物理计算机处理器生成合成的目标帧。
在实施例中,补充信息可包括掩码、目标帧、扭曲的目标帧中给定对象的给定估计光流的给定幅度和/或对应于缺失元素的深度中的一个或更多个。
在实施例中,识别缺失的元素可以包括利用一个或更多个物理计算机处理器,基于给定对象的给定估计光流的给定幅度,当幅度达到阈值时,将给定对象识别为前景对象。识别缺失元素还可以包括利用一个或更多个物理计算机处理器,使用一个或更多个帧之间的前景对象的位移,识别扭曲的目标帧的背景中的缺失元素。
在实施例中,识别缺失元素可以包括利用一个或更多个物理计算机处理器,基于一个或更多个帧之间的对象的深度的改变,使用估计的光流识别缺失的元素。识别缺失元素还可以包括利用一个或更多个物理计算机处理器生成要应用于缺失元素的元素。识别缺失的元素可以包括利用一个或更多个物理计算机处理器生成合成的目标帧。
在实施例中,已训练的光流模型和/或已训练的内插模型可以包括卷积神经网络。
在实施例中,计算机实施的方法还可以包括利用一个或更多个物理计算机处理器对合成的目标帧进行编码。计算机实施的方法可以包括利用一个或更多个物理计算机处理器,基于编码的合成目标帧来编码辅助信息。辅助信息可包括光流和/或掩码中的一个或更多个。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于迪斯尼企业公司,未经迪斯尼企业公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910735508.9/2.html,转载请声明来源钻瓜专利网。