[发明专利]用于处理3D视频的质量度量

说明书

技术领域

本发明涉及一种用于处理三维[3D]视频信号的3D视频装置。3D视频信号包括待显示在3D显示器上的至少第一图像。3D显示器需要多个视图以用于为观看者创建3D效果。3D视频装置包括用于接收3D视频信号的接收机。

本发明进一步涉及一种处理3D视频信号的方法。

本发明涉及基于3D视频信号为相应的3D显示器生成和/或适配视图的领域。当内容不意图用于在特定自动立体装置上回放时，图像中的视差/深度可能需要被映射到目标显示装置的视差范围上。

背景技术

文档“A Perceptual Model for disparity, p. Didyk等人著, ACM Transactions on Graphics, Proc. of SIGGRAPH, 2011年, 第30卷, 第4期”提供了一种用于视差的感知模型并且指示它能够被用于针对特定观看条件来适配3D图像素材。该论文描述了视差对比在感知上是更加显著的并且提供了用于重定向（retargeting）的视差差度量。视差差度量基于分析图像以确定被感知透视的量，所述分析图像是基于视差差的。针对不同的观看条件来适配3D信号的过程被称作重定向并且用于重定向的全局操作符被讨论，重定向的效果基于度量被确定（例如在第6节前两段和第6.2节中）。

发明内容

已知的差度量是相当复杂的并且需要视差数据可得到以用于分析。

本发明的目的是提供一种用于提供用于基于不太复杂的质量度量将3D视频信号定向到相应的3D显示器同时优化相应的3D显示器的所感知到的3D图像质量的参数的系统。

出于这个目的，根据本发明的第一方面，如在开头段中所描述的装置包括处理器，所述处理器用于：基于由用于将多个视图定向到3D显示器的参数所适配的3D图像数据来确定至少一个经处理的视图；计算指示感知到的3D图像质量的质量度量，该质量度量基于经处理的视图和另一视图的图像值的组合；以及基于对于参数的多个值执行所述确定和计算为参数确定优选值。

所述方法包括：接收3D视频信号；基于由用于将多个视图定向到3D显示器的参数所适配的3D图像数据来确定至少一个经处理的视图；计算指示感知到的3D图像质量的质量度量，该质量度量基于经处理的视图和另一视图的图像值的组合；以及基于对于参数的多个值执行所述确定和计算为参数确定优选值。

这些措施具有效果：装置接收3D视频信号并且确定用于针对相应的显示器来适配视图以增强当由相应的3D显示器为观看者显示时的3D图像的质量的参数。针对特定显示器来适配视图的过程被称作针对3D显示器来定向视图。例如，特定显示器对于高质量3D图像可以具有有限的深度范围。例如增益参数可以被确定以用于应用于用于为这样的显示器生成或者适配视图的深度值。在另一示例中，相应的显示器可以具有优选深度范围，通常靠近具有高锐度的显示屏幕，然而向观看者突出的3D对象往往为不太清晰的。可以对视图应用偏移参数以控制视差的量，并且随后3D对象可以向高锐度、优选的深度范围移位。所述装置有效地提供有用于调整所述参数以便优化相应的3D显示器的3D效果和感知到的图像质量的自动系统。特别地，质量度量基于图像值的组合被计算以确定所感知到的3D图像质量并且被用来测量参数的多个不同值对3D图像质量的影响。

本发明还基于以下认知。传统上，针对相应的3D显示器的视图的调整可以由观看者基于他对3D图像质量的判断手动地执行。例如基于通过增益和偏移来处理深度图或视差图以将深度映射到相应的3D显示器的优选深度范围中的自动调整可以导致图像因特定部分而变得模糊和/或相对小的深度效果。发明人已看到，这样的映射往往由具有相对大的视差但是对感知到的图像质量具有相对低的贡献的相对大的对象（诸如远方的云）偏置。所提出的质量度量基于比较包含由视差所翘曲的图像数据的经处理的视图的图像值和另一视图（例如提供有3D视频信号的图像）的图像值的组合的图像值。组合的图像值表示视图中的图像内容和视差两者，因为视差在两个视图中是不同的。有效地，具有高对比或结构的对象实质性地对质量度量作出贡献，然而具有很少可感知特性的对象几乎不贡献，尽管具有大视差。

当图像度量被用来优化影响渲染的图像的屏幕上视差的参数时，重要的是使来自不同视图的图像信息联系起来。而且为了最好地使这些视图联系起来，所比较的图像信息优选地来自图像中的所对应的x、y位置。更优选地，这牵涉对输入和渲染的图像进行重新缩放使得它们的图像尺寸匹配，在这种情况下相同的x、y位置能够被匹配。