[发明专利]视频编码中的受指导图像上采样

说明书

相关申请的交叉引用

本发明要求2011年8月9日提交的美国临时专利申请No.61/521,685以及2012年5月30日提交的美国临时专利申请No.61/653,234的优先权，出于所有目的通过引用将它们并入此。

技术领域

本发明总体上涉及图像。更特别地，本发明实施例涉及视频编码中的数字图像的受指导上采样（guided up-sampling）。

背景技术

如在此使用的那样，术语“动态范围”（dynamic range，DR）可以与用于感知图像中的强度（例如辉度、亮度）的范围（例如从最暗的暗到最亮的亮）的人类心理视觉系统（human psychovisual system，HVS）的能力有关。在此意义上，DR与“场景相关的（scene referred）”强度有关。DR也可以与显示设备足够地或近似地呈现特定宽度（breadth）的强度范围的能力有关。在此意义上，DR与“显示相关的”强度有关。除非在此描述中的任何点明确地指定特定意义具有特定重要性，否则应推断其可以例如可互换地用于任何意义。

如在此使用的那样，术语“高动态范围（high dynamic range，HDR）”与跨越人类视觉系统（human visual system，HVS）的一些14-15个量级的DR宽度有关。例如，具有基本正态（例如在统计、生物计量或眼科（opthamological）意义中的一个或多个中）的良好适应的人具有跨越大约15个量级的强度范围。适应的人可以感知少至仅少数光子的昏暗光源。然而，这些相同的人可以感知沙漠、海洋或雪中的正午阳光的近乎灼目的明亮强度（或甚至对太阳的扫视，然而，短暂地扫视防止损伤）。这样的跨度对于“适应的”人（例如其HVS具有重置并且调整的时间段的人）可用。

作为对比，相对于HDR，在其上人可以同时感知强度范围中的宽的宽度的DR可以被稍微截断。如在此使用的那样，术语“视觉动态范围”或“可变动态范围（variable dynamic range，VDR）”可以单独地或互换地与HVS同时可感知的DR有关。如在此使用的那样，VDR可以与跨越5-6个量级的DR有关。因此，尽管相对于真实场景相关的HDR稍微更窄，但VDR表示宽的DR宽度。如在此使用的那样，术语“同时动态范围”可以与VDR有关。

直到最近，显示器已经具有比HDR或VDR明显更窄的DR。使用具有恒定荧光的白色背光或等离子体屏幕技术的典型阴极射线管（cathode ray tube，CRT）、液晶显示器（liquid crystal display，LCD）的电视（Television，TV）和计算机监视器装置可能在它们的DR呈现能力方面被约束为大约三个数量级。这些传统的显示器因此作为相对于VDR和HDR的低动态范围（low dynamic range，LDR），又称为标准动态范围（standard dynamic range，SDR）的代表。

至于可缩放视频编码和HDTV技术，扩展图像DR典型地涉及分叉（bifurcate）方法。例如，以现代的能够HDR的相机捕获的场景相关HDR内容可以用于生成该内容的VDR版本或SDR版本，其可以显示在VDR显示器或传统SDR显示器上。在一种方法中，从捕获的VDR版本生成SDR版本可以涉及将全局色调映射算子（global tone mapping operator，TMO）应用于HDR内容中的强度（例如辉度、亮度）有关的像素值。在第二方法中，如在W.Gish等人2011年8月23提交的PCT申请PCT/US2011/048861中“Extending Image Dynamic Range”中描述的那样，生成SDR图像可以涉及对于VDR数据应用可逆算子（或预测器）。为了保留带宽或出于其它考虑，同时发送实际捕获的VDR内容和SDR内容两者可能不是最佳方法。

因此，相对于初始TMO被反转的逆色调映射算子（iTMO）或相对于初始预测器的逆算子可以应用于生成的SDR内容版本，这允许预测初始VDR内容的版本。可以将预测的VDR内容版本和生成的VDR内容进行比较。例如，从初始VDR版本减去预测的VDR版本可以生成残差图像。编码器可以发送作为基本层（base layer，BL）的生成的SDR内容、作为增强层（EL）的任何残差图像，并且封装iTMO或其它预测器等作为元数据。