[发明专利]用于帧兼容视频传输的联合层优化

说明书

相关申请的交叉引用

本申请要求于2010年10月12日提交的美国临时专利申请61/392,458号的优先权。本申请可能与于2010年7月19日提交的美国临时申请61/365,743号、于2009年7月4日提交的美国临时申请61/223,027号以及于2009年4月20日提交的美国临时申请61/170,995号有关，其全部内容通过引用合并到本文中。

技术领域

本发明涉及图像或视频优化。更具体地，本发明的实施例涉及用于帧兼容视频传输的联合层优化。

背景技术

近来，在业界中已经存在对立体（3D）视频传输的相当大的兴趣和关注。以3D呈现的高卖座电影已经使3D立体视频成为主流，同时大型体育赛事当前也以3D来制作和广播。特别地，动画电影正日益以立体格式生产并呈现。虽然已经存在足够大的基数的支持3D的电影屏幕，但是消费型3D应用却并非如此。在该空间的努力仍然处于起步阶段，但是若干行业组织正在将相当大的努力投入到支持消费型3D的显示的开发和市场营销中（见参考文献[1]）。

附图说明

合并到本说明书中并构成本说明书的一部分的附图，示出了本公开的一个或更多个实施例，并且与示例性实施例的描述一起用于解释公开的原理和实现。

图1示出用于立体素材的传输的水平采样/并排布置。

图2示出用于立体素材的传输的垂直采样/上下布置。

图3示出具有用于层间预测的参考处理单元的可伸缩（scalable）视频编码系统。

图4示出具有用于层间预测的参考处理的帧兼容3D立体可伸缩视频编码系统。

图5示出具有用于层间预测的参考处理的帧兼容3D立体可伸缩视频解码系统。

图6示出用于编码决策的率失真优化框架。

图7示出用于编码决策的失真的快速计算。

图8示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。计算了增强层（EL）中的失真的附加估计（D’和D’’）。计算了EL中率使用（rate usage）的附加估计（R’）。

图9示出用于考虑到对增强层的影响的编码决策的失真的快速计算。

图10示出示出多阶段编码决策处理的流程图。

图11示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。基本层（BL）RPU使用由RPU优化模块所估计的参数，该RPU优化模式使用原始的BL输入和EL输入。或者，BL输入可以通过模拟编码处理并添加编码伪像（artifact）的模块。

图12示出用于编码决策的失真的快速计算，所述编码决策考虑对增强层的影响并使用原始输入图片或轻微修改的输入来执行RPU参数优化以模拟编码伪像。

图13示出用于多层帧兼容全分辨率视频传输系统中的率失真优化的增强。编码决策对增强层的影响通过考虑EL中的运动估计和运动补偿来测量。

图14示出本地方法的一个实施例中的RPU参数优化处理中的步骤。

图15示出本地方法的另一实施例中的RPU参数优化处理中的步骤。

图16示出帧级方法中的RPU参数优化处理中的步骤。

图17示出用于考虑到对增强层的影响的编码决策的失真的快速计算。附加的运动估计步骤也考虑EL中的运动估计的影响。

图18示出考虑到允许使用非因果信息的依赖层，用于改进运动补偿的处理的第一实施例。

图19示出考虑到针对先前层和依赖层两者执行编码，用于改进运动补偿的处理的第二实施例。

图20示出考虑到针对先前层执行优化的编码决策并且考虑非因果信息的依赖层，用于改进运动补偿的第三实施例。

图21示出采用BL和EL的输出作为输入并且产生每个视点的全分辨率重构的模块。

图22示出针对编码决策的失真的快速计算，所述编码决策使用EL和BL的样本来考虑对全分辨率重构的影响。

图23示出针对编码决策的失真的快速计算，所述编码决策考虑来自前一层的失真信息和样本。

具体实施方式

根据本公开的第一实施例，提供一种用于对多层的层帧兼容图像或视频传输系统中的编码决策进行优化的方法，该系统包括一个或更多个独立层以及一个或更多个依赖层，该系统提供多个数据结构的帧兼容表示，该系统还包括在第一层与一个或更多个依赖层中的至少之一之间的至少一个参考处理单元（RPU），第一层为独立层或依赖层，该方法包括：提供第一层估计失真；以及提供一个或更多个依赖层估计失真。