[发明专利]在多视图视频编码中从低动态范围图像生成高动态范围图像

说明书

技术领域

本发明涉及从低动态范围图像生成高动态范围图像，并且特别地，涉及将高动态范围信息与3D信息组合。

背景技术

随着数字信号表示和通信逐渐地取代了模拟表示和通信，在过去的几十年里各种源信号的数字编码已经变得愈加重要。持续的研究和开发正在如何改进能够从编码的图像和视频序列获得的质量同时使数据速率保持可接受的水平方面进行。

用于感知的图像质量的重要因素是能够在图像被显示时重现的动态范围。然而，照惯例，相对于正常视觉重现图像的动态范围趋于被大大地减小。在真实场景中，不同亮度的区域中的不同对象的动态范围可以容易地对应于10.000:1或更大的(14位线性)动态范围，其中，非常精确的亮度分级可能出现在所有亮度级别中，例如在用窄束灯饰照明的腔中，并且因此，无论特定装置上的最终的最优再现如何，图像编码可以期望包含关于该图像的尽可能多的有用信息(同时还花费尽可能少的位，例如在诸如蓝光盘之类的固定存储器空间介质上，或有限的带宽网络连接)。

传统上，图像传感器和显示器的动态范围以被限于约2-3个数量级，例如传统的电视机试图针对40:1动态范围进行成像，40:1动态范围也是用于打印的典型范围，即8位对于那些媒体而言被认为是足够的，但是它们对于最近出现的更高质量再现装置和/或特别地与那些装置上的最佳再现相关的更智能的图像处理而言不再是足够的。即，在不在传统的再现装置上引入感知上显著的伪像的情况下，传统上已经能够以8位伽玛编码格式来存储和传送图像。然而，为了记录更精确和更生动的成像，已经开发了宣称能够记录甚至多达6个数量级的动态范围的新颖的高动态范围(HDR)图像传感器。此外，大多数的特殊效果、计算机图形增强以及其它后期工作已经在更高位深被例行地进行，使在计算机上创建的视觉领域变得潜在无限。

此外，现代技术显示系统的对比度和峰值亮度持续提高。近来，新的原型显示器已经以高达5000 Cd/m^-2的峰值亮度和5个数量级的理论对比度被呈现。当传统上经编码的8位信号被显示在这样的显示器上时，讨厌的量化和剪裁伪像可能出现，并且此外，8位信号中的有限信息通常不足以创建复杂图像—至于灰度值的分配—其可以被如实地用这些设备再现。特别地，传统的视频格式提供了不足以传达在新的HDR成像中包含的丰富信息的净空和精确性。因此，存在对于允许用户（consumer）充分受益于现有技术的传感器和显示系统的能力的新视频格式的不断增长的需求。优选地，这样的格式是后向兼容的，使得旧设备仍然能够接收普通视频流，同时新的有HDR能力的装置充分利用由新格式所传达的附加信息。因此，期望的是，编码的视频数据不仅表示HDR图像而且还允许能够被显示在常规设备上的传统的低动态范围(LDR)图像的编码。

最直接了当的方法将是相互独立地压缩并且存储LDR和HDR流(同时联播)。然而，这将导致高的数据速率。为了改进压缩效率，已经提出采用其中HDR数据被从LDR流预测的层间预测，使得仅实际的HDR数据与它的预测之间的更小差需要被编码和存储/传送。

然而，从LDR数据预测HDR往往是困难的和相对不精确的。实际上，对应的LDR与HDR之间的关系往往是非常复杂的并且通常可能在图像的不同部分之间强烈地变化。例如，LDR图像通常可以由HDR图像的色调映射和颜色分级来生成。精确的色调映射/颜色分级以及因此HDR与LDR图像之间的关系将取决于针对颜色分级所选择的特定算法和参数并且因此很可能取决于源而变化。实际上，通常可以不仅针对不同的内容项而且在不同的图像之间以及实际上经常在图像的不同部分之间主观地并且个别地对颜色分级进行修改。例如，颜色分级器可以选择图像中的不同对象并且对每个对象应用单独和个别的颜色分级。因此，从LDR图像预测HDR图像典型地是非常困难的并且理想地需要适应用来从HDR图像生成LDR图像的特定方法。

在Mantiuk, R.、Efremov, A.、Myszkowski, K.和Seidel, H.，2006年，Backward compatible high dynamic range MPEG video compression，第3卷第25期ACM Trans.(2006年7月)第713-723页中提出了用于预测HDR图像的方法的示例。在此方法中全局重构函数被估计并且用来执行层间预测。然而，该方法趋于导致次最佳结果并且与期望的相比往往是更不精确的。特别地，全局重构函数的使用趋于仅仅允许粗略估计，因为它不能够考虑例如由不同的颜色分级的应用所造成的HDR数据与LDR数据之间的关系的局部变化。