[发明专利]用于视频处理的准确全局运动补偿的全局运动估计和建模在审
申请号: | 201910567336.9 | 申请日: | 2019-06-27 |
公开(公告)号: | CN110662042A | 公开(公告)日: | 2020-01-07 |
发明(设计)人: | 丹尼尔·索克;阿图尔·普瑞 | 申请(专利权)人: | 英特尔公司 |
主分类号: | H04N19/124 | 分类号: | H04N19/124;H04N19/13;H04N19/159;H04N19/42;H04N19/43;H04N19/44;H04N19/513;H04N19/527;H04N19/573;H04N19/577;H04N19/625;H04N19/70;H04N19/9 |
代理公司: | 11258 北京东方亿思知识产权代理有限责任公司 | 代理人: | 宗晓斌 |
地址: | 美国加利*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 全局运动补偿 全局运动估计 视频处理 建模 | ||
1.一种使用全局运动来执行基于有效运动的视频处理的系统,包括:
全局运动分析器,所述全局运动分析器包括一个或多个衬底、和耦合到所述一个或多个衬底的逻辑,其中,所述逻辑用于执行以下操作:
获得相对于参考帧的当前帧的多个块的多个块运动矢量;
修改所述多个块运动矢量,其中,修改所述多个块运动矢量包括以下操作中的一个或多个:平滑化所述多个块运动矢量的至少一部分,合并所述多个块运动矢量中的至少一部分,以及丢弃所述多个块运动矢量的至少一部分;
在一些实例中通过排除帧的一部分来限制经修改的多个块运动矢量;
基于相对于所述参考帧的所述当前帧的经受限修改的多个块运动矢量来计算多个候选全局运动模型,其中,每个候选全局运动模型包括表示所述当前帧的全局运动的一组候选全局运动模型参数;
逐帧地从所述多个候选全局运动模型确定最佳全局运动模型,其中,每个最佳全局运动模型包括表示所述当前帧的全局运动的一组最佳全局运动模型参数;
响应于一个或多个应用参数来修改所述最佳全局运动模型参数的精度;
将经修改精度的最佳全局运动模型参数映射到基于像素的坐标系,以确定多个参考帧控制网格点的多个映射全局运动扭曲矢量;
相对于多个先前的映射全局运动扭曲矢量,预测并且编码所述当前帧的所述多个映射全局运动扭曲矢量;
从每个帧的两个或更多个子像素滤波器选择中确定用于在1/8像素位置或1/16像素位置处进行插值的最佳子像素滤波器;
在子像素位置处将所述多个映射全局运动扭曲矢量应用于所述参考帧,并且基于所确定的最佳子像素滤波器来执行像素的插值,以生成全局运动补偿扭曲参考帧;以及
电源,用于向所述全局运动分析器提供电力。
2.根据权利要求1所述的系统,其中,修改所述多个块运动矢量还包括以下操作:
计算所述当前帧的初始全局运动模型的一组初始全局运动模型参数;
将所述初始全局运动模型应用于所述当前帧的多个块中的每个块的中心,以确定每个块的初始全局运动矢量;
计算每个块的初始全局运动矢量与每个块的局部运动矢量之间的全局/局部差值;
计算自适应阈值以应用于全局/局部运动差值,其中,所述自适应阈值基于特定当前帧的内容而自适应地改变;以及
基于应用所述自适应阈值的所述全局/局部差值的大小,将所述当前帧分段为全局运动区域和局部运动区域。
3.根据权利要求2所述的系统,其中,计算初始全局运动模型参数还包括以下操作:
通过多次迭代使用随机采样以在每次迭代的时间处选择一组三个线性独立的运动矢量,其中,每组的三个线性独立的运动矢量是用于计算经采样的六参数全局运动模型的线性独立的运动矢量;以及
为所述经采样的六参数全局运动模型的每个参数生成直方图,以根据每个参数的峰值找到最佳模型参数,其中,一组最佳模型参数描述初始全局运动等式。
4.根据权利要求2所述的系统,其中,全局运动区域和局部运动区域分段在至少一些实例中使用若干阈值来执行,以创建多个替代分段。
5.根据权利要求2所述的系统,其中,全局运动区域和局部运动区域分段在至少一些实例中通过腐蚀和膨胀的形态学操作来执行,以形成一个或多个经修订的分段;
其中,在所有这些可用分段、替代分段、和经修订的分段之间选择最佳全局运动区域和局部运动区域分段,以找到在所述当前帧和所述参考帧之间生成最小残差的分段;
其中,通过确定和丢弃所述当前帧中由纹理测量检测到的低细节部分,来进一步细化最佳全局运动区域和局部运动区域分段;
其中,通过确定和丢弃除了包括对象角落的块、以及包括由纹理测量检测到的高纹理的块之外的所有其他块,来进一步细化最佳全局运动区域和局部运动区域分段;以及
其中,限制所述经修改的多个块运动矢量还包括以下操作:
确定并且移除某些块运动矢量,因为这些块运动矢量可能属于非活动静态区域,其中,一个或多个非活动静态区块包括以下非活动静态区块类型中的一个或多个:黑色条类型非活动静态区块、黑色边界类型非活动静态区块、字母框类型非活动静态区块、徽标覆盖类型非活动静态区块、和文本覆盖类型非活动静态区块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于英特尔公司,未经英特尔公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910567336.9/1.html,转载请声明来源钻瓜专利网。