[发明专利]使用平滑约束的运动补偿的帧内插有效

专利信息
申请号: 201480030013.1 申请日: 2014-03-28
公开(公告)号: CN105247569B 公开(公告)日: 2020-02-07
发明(设计)人: A·科卡拉姆;D·凯利;A·J·卡劳弗德 申请(专利权)人: 谷歌有限责任公司
主分类号: H04N7/01 分类号: H04N7/01
代理公司: 11105 北京市柳沈律师事务所 代理人: 邵亚丽
地址: 美国加利*** 国省代码: 美国;US
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 使用 平滑 约束 运动 补偿 内插
【说明书】:

拉取式帧内插可以包括:标识多个输入视频帧;生成指示从多个输入视频帧中的第一帧到多个输入视频帧中的第二帧的运动的多个运动矢量;标识第一帧与第二帧之间的内插点;基于多个运动矢量,生成指示从第一帧到内插点以及从第二帧到内插点的运动的多个候选内插运动矢量;基于度量从多个候选内插运动矢量中选择内插运动矢量;以及基于所选择的内插运动矢量,在内插点处生成内插帧。

背景技术

数字视频可以用于例如经由视频会议技术的远程商务会议、高清晰度视频娱乐、视频广告或者共享用户生成的视频。因此,提供时间和空间帧内插将是有利的。

发明内容

本文公开了用于视频帧内插或拉取式帧内插的系统、方法和装置的多个方面。

一方面是一种用于拉取式帧内插的方法,该方法可以包括:标识多个输入视频帧;生成指示从多个输入视频帧中的第一帧到多个输入视频帧中的第二帧的运动的多个运动矢量;标识第一帧与第二帧之间的内插点;基于多个运动矢量,生成指示从第一帧到内插点以及从第二帧到内插点的运动的多个候选内插运动矢量;基于度量从多个候选内插运动矢量中选择内插运动矢量;以及基于所选择的内插运动矢量,在内插点处生成内插帧。

另一方面是一种用于拉取式帧内插的方法,该方法可以包括:标识多个输入视频帧;生成指示从多个输入视频帧中的第一帧到多个输入视频帧中的第二帧的运动的多个运动矢量;确定多个运动矢量的平滑程度;在平滑程度在阈值之上的情况下,使用第一帧或者第二帧作为内插帧;在平滑程度在阈值之内的情况下,标识第一帧与第二帧之间的内插点;共同地使用组合能量函数、标识遮挡并且基于多个运动矢量来生成多个候选内插运动矢量,该多个候选内插运动矢量包括指示从第一帧到内插点的运动的候选内插运动矢量、指示从第二帧到内插点的运动的候选内插运动矢量、以及基于针对多个相邻位置的运动预测的候选内插运动矢量。对于多个内插位置中的每个内插位置,拉取式帧内插可以包括:基于内插帧内的平滑约束并且基于第一帧与第二帧之间的平滑约束,从多个候选内插运动矢量中选择内插运动矢量;以及选择内插运动矢量,并且基于所选择的内插运动矢量来更新内插帧。拉取式帧内插可以包括:基于所选择的内插运动矢量,在内插点处生成内插帧,其中内插帧包括多个内插位置,其中生成内插帧包括:通过将内插帧与第一帧和第二帧的平均相混合并基于内插运动矢量来校正内插帧中的伪影,其中混合的程度基于与内插运动矢量相关联的运动场的梯度,使得利用第一帧和第二帧的平均的对应区域来代替内插帧中具有高运动梯度的部分。

下文中更详细地描述这些和其他方面的变型。

附图说明

本文中的描述参考附图,在附图中,相似的参考标记贯穿多个视图指代相似的部分,并且其中:

图1是根据本公开内容的实现方式的计算设备的示图;

图2是根据本公开内容的实现方式的计算和通信系统的示图;

图3是根据本公开内容的实现方式的用于在帧内插中使用的视频流的示图;

图4是根据本公开内容的实现方式的编码器的框图;

图5是根据本公开内容的实现方式的解码器的框图;

图6示出根据本公开内容的实现方式的用于视频帧速率变换的时间线的示例;

图7示出根据本公开内容的实现方式的拉取式帧内插的示例的示图;

图8示出根据本公开内容的实现方式的拉取式帧内插的示例的另一示图;

图9示出根据本公开内容的实现方式的位置网格中的邻近邻居的示例的示图;

图10示出根据本公开内容的实现方式的命中列表生成的示例的示图;

图11示出根据本公开内容的实现方式的拉取式帧内插的示例的示图;以及

图12示出根据本公开内容的实现方式的拉取式帧内插的示例的简化图。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201480030013.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code