[发明专利]用于预测三维视频的主观质量的全参考系统

说明书

技术领域

本公开涉及图像的质量预测，且尤其涉及一种用于预测三维（立体）视频的主观质量的全参考系统。

背景技术

诸如电视广播、电影之类的行业以及目前采用基于立体的3D技术的其它行业正面临着若干质量保证和质量控制的问题。与其它相比，在视频中，处理假象（artifact）和损害给一些用户造成更多的分心。此外，虽然目前日益流行，但是三维视频可能导致一些观看者的视觉不适，其中所述不适通常与3D图像的立体（左和右）图像之间的水平视差（disparity）量有关。

可使用目前的技术，其为二维视频的制作设置中的视频提供视觉不适和损害的指示、预测、警告和原因。虽然以困难的方式，但是这些技术中的一些已经被用来对测量3D图像的右和左图像的各种组合进行测量。例如，已经研发了技术来单独测量构成3D图像的右和左的2D图像，随后对右和左的质量结果进行平均。如另一个示例，可以通过相对于未处理的左（参考）视频对经处理的左（测试）视频进行测量以便进行左视图的视频质量评估，并且对于右视图同样如此，而将TEKTRONIX PQA600用于3D视频质量的评估。

然而，正在以日益提高的速度从现有的2D视频生成3D视频。此外，其它的3D处理也正在出现，诸如为了被改变用途作为蓝光DVD等的影院，为了视频设备的R&D（捕捉、诸如编解码的处理等等）以及其它应用所制作的3D电影。目前还没有用于直接预测立体视频的主观质量的全参考系统。

本发明的实施例解决了现有技术的这些和其它局限。

发明内容

在本发明的一些方面，提供了一种生成预测图片质量评价（rating）的方法。通常，视差测量通过将三维图像的左和右子分量进行比较而由所述三维图像所构成。随后，使用来自用于合并的所述视差测量的数据，所述三维图像的左和右子分量被合并（融合）为二维图像。预测质量测量随后基于所述二维图像生成，并且进一步包括与原始三维图像相关的质量信息。

本发明的其它方面包括一种用于相对于参考立体视频预测测试立体视频的质量的质量预测系统。所述预测系统包括用于接受测试三维视频和参考三维视频的输入。这些三维视频的左和右分量随后在比较器中单独进行比较并且取得视差测量。融合器随后使用来自所述比较的数据将三维图像的左和右元素分别合并为二维图像。图片质量分析器随后被用来基于所述二维图像生成图片质量预测或测量。此外，汇总设备在所述质量预测系统的最终输出中包括三维比较的信息。

附图说明

图1是根据本发明实施例的用于立体视频的全参考主观质量预测器的框图。

图2是示出图1中用于立体视频的全参考主观质量预测器的额外细节的框图。

图3是图示能够被用来比较立体图像的过程的示例性流程图。

图4是从图3所示的两幅单独图像的合并所产生的单幅融合图像的示例。

图5是图示本发明的实施例中所使用的用于三维图像的标准视图的平面观看深度和观看角度的参考图像。

具体实施方式

迄今为止，用于广播的最为常见的立体视频表现方法是在每个视频帧的顶部和底部或者并排发送的单独的左和右视频视图（使用公知的MPEG-2或H.264标准），或者在单独的相应通道中发送的单独的左和右视频视图（H.264的多视图视频编码，MVC）。可替换地，2D帧可以在一个通道中连同另一个通道中的其相应的深度图（depth map）一起发送（即，可能经由MVC的适配）。虽然后者2D帧+深度通道视频表现也可以使用本发明的概念进行测量，但是仍使用前者（单独的左和右）方法来解释本发明系统的概念。

本发明的实施例提供了一种（在图像分辨率、帧率、实时相对于较高准确性等方面上）可缩放的方法来生成与当前2D的解决方案相兼容的预测质量评价：每个帧和每个序列一个标量量度，也就是DMOS预测，主观差异意味着3D测试和3D参考视频之间的观点得分（opinion score）。

图1是根据本发明实施例的用于立体视频的全参考主观质量预测器10的框图。质量预测器10包括用于3D图像或视频、参考图像12和测试图像14的两个单独输入。贯穿该公开所要理解的是，对标识符一幅3D图像或多幅3D图像的使用包括静态图像和视频图像二者。如所示，每幅3D图像包括左分量和右分量。