[发明专利]用于多层视频编码的自适应上采样

说明书

公开了用于多层视频编码的自适应上采样的系统、方法和手段。传输视频数据的方法可包括将上采样滤波器应用于视频序列以生成编码后的增强层图像。该上采样滤波器可应用在视频序列的序列级以生成增强层比特流。可从多个候选上采样滤波器中选择该上采样滤波器，例如，通过确定是否存在与视频序列相关的类别信息和选择针对与视频序列相关的类别所设计的候选上采样滤波器。可编码上采样滤波器信息。编码后的上采样滤波器信息可包括该上采样滤波器的多个系数。可在输出视频比特流中发送编码后的上采样滤波器信息和编码后的增强层图像。该方法可例如通过编码器来执行。

本申请是申请号为201380050742.9，申请日为2013年09月27日，发明名称为“用于多层视频编码的自适应上采样”的中国发明专利申请的分案申请。

相关申请的交叉引用

本申请要求2012年9月28日递交的美国临时专利申请No.61/706,941和2013年1月10日递交的美国临时专利申请No.61/750,883的权益，所述申请的内容以引用的方式结合于此。

背景技术

视频编码系统用来压缩数字视频信号以减少所述信号的存储需求和/或传输带宽。视频编码系统可以包含基于块的系统、基于小波的系统、基于对象的系统等。可以使用并部署基于块的混合视频编码系统。基于块的视频编码系统的示例包含但不限于例如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC和VC-1标准的国际视频编码标准。

随着智能手机和平板电脑在分辨率和计算能力两方面的增长，例如视频聊天、移动视频录制和分享及视频流的额外视频应用可在异构环境中传送视频数据。如考虑多种消费设备(如个人电脑、智能手机、平板电脑、电视等)的3屏和N屏的场景可适应在计算能力、内存/存储大小、显示分辨率、显示帧速率等方面具有很大能力差异的设备上的视频消费。网络和传输信道可能在分组丢失率、可用信道带宽、突发错误率等方面具有很大的特性差异。可通过有线网络和无线网络的组合来传输视频数据，这会使得底层(underlying)传输信道的特征更加复杂。

可缩放(scalable)视频编码可提供解决方案以改善通过异构网络对在具有不同能力的设备上运行的视频应用的体验质量。可缩放视频编码可以以最高表示(representation)(如时间分辨率、空间分辨率、质量等)对信号进行一次编码并且能够依据由运行在客户设备上的应用所采用的具体速率和表示从视频流的子集进行解码。可缩放视频编码相比于不可缩放视频编码可以节省带宽和存储空间。例如但不限于MPEG-2视频、H.263、MPEG4视件和H.264的视频标准可具有支持一些可缩放性模式的工具和/或配置文件。

发明内容

公开了用于多层视频编码的自适应上采样的系统、方法和工具。传输视频数据的方法可包括对视频序列应用上采样滤波器以产生编码后的增强层图像。可对上采样滤波器信息进行编码。编码后的上采样信息可包含上采样滤波器的多个系数。可以在输出视频比特流中发送编码后的上采样滤波器信息和编码后的增强层图像。可由例如编码器来执行该方法。

传输视频数据的方法可以包含接收输入比特流，该输入比特流包括编码后的增强层图像和/或上采样滤波器信息，该上采样滤波器信息属于用来生成增强层图像的上采样滤波器。可对上采样滤波器信息解码以构造上采样滤波器。可至少部分地将上采样滤波器应用于对基础层(base layer)图像进行上采样。例如，上采样滤波器可被应用在序列级(sequence level)以解码视频序列的增强层图像。上采样滤波器可被用于视频序列的图像级(picture level)、视频序列的切片级(slice level)和/或视频序列的块级(blocklevel)。上采样后的基础层图像可用于对编码后的增强层图像进行解码。可以根据输入比特流中的第一上采样滤波器信息来构造第一上采样滤波器。可以根据输入比特流中的第二上采样滤波器信息来构造第二上采样滤波器。可应用第一上采样滤波器对基础层图像中的第一像素集进行上采样。可应用第二上采样滤波器对基础层图像中的第二像素集进行上采样。第一像素集和第二像素集表示基础层图像中的不同像素。可例如通过解码器执行该方法。