[发明专利]基于运动显著性的立体视频质量评价方法

说明书

本发明属于图像处理领域，为更加准确有效的评价立体视频质量,同时在一定程度上推动立体成像技术的发展。本发明，基于运动显著性的立体视频质量评价方法，首先从参考立体视频左视点或右视点相邻两帧图像第t帧、第t+1帧中估计出其相应的运动信息，得到该帧图像的运动显著性权值分布图；然后利用2D图像质量评价方法质量结构相似度SSIM对失真立体视频左视点或右视点的相应第t帧图像进行评价；然后利用上一步得到的运动显著性权值分布对对应帧的质量分布进行加权从而得到该帧图像的整体质量；然后得到单帧立体图像质量；最后将立体视频所有帧的立体图像质量平均从而得到立体视频的总体质量。本发明主要应用于图像处理。

技术领域

本发明属于图像处理领域，涉及立体视频质量评价方法改进优化，尤其是涉及运动显著分割和结构相似度在立体视频质量客观评价中的应用。具体讲,涉及基于运动显著性的立体视频质量评价方法。

背景技术

近年来随着3D技术的发展，立体视频正在逐渐成为视觉信息传播的主要媒介。然而网络传输带宽资源有限，这就使得立体视频的压缩成为必然的选择，而且实践证明对立体视频进行非对称压缩可以获得更高的压缩效率。与此同时，压缩必然会影响到立体视频的质量，而立体视频质量的优劣会直接影响到观看者的视觉生理和心理健康。为此，探索影响观众观看体验的视觉因素，研究有效且可靠的立体视频质量评价方法至关重要。

立体视频质量评价方法可以分为两类：主观评价方法和客观评价方法。通过大量的人员对立体内容做出质量评价的方法为主观评价方法。由于该方法是直接由人来做出评价，所以能够准确的反应人类的视觉体验，然而主观质量评价耗时耗力且不能运用于实时应用中^[1]。

客观质量评价方法是通过算法来实现立体视频质量评价的，能够有效的弥补主观评价方法的不足。由于立体视频技术是近几年才发展起来的，所以直接针对立体视频质量评价的方法非常少，相关领域的研究人员大多都是直接将传统的2D图像或视频的质量评价方法应用于立体视频质量评价中。其中典型的2D图像质量评价方法有峰值信噪比(PSNR)、视觉信噪比(VSNR)、视觉信息保真度(VIF)以及质量结构相似度(SSIM)等。

峰值信噪比(PSNR)是基于图像差异分析的最典型的图像质量评价方法，它与均方误差(MSE)方法同源，但是这种方法不能准确的反应人类视觉系统特征^[2,3]。视觉信噪比(VSNR)方法由chandler等人经过一系列的研究^[4,5,6,7]后提出，该方法是一种典型的基于人类视觉系统(HVS)的方法。视觉信息保真度(VIF)模型由Sheikh等人于2006年提出^[8,9]，该方法引入信息论中关于信息量的描述，提出了一种符合自然图像统计规律的图像模型，并在此基础上定义了图像的信息量。利用原始图像和测试图像的信息量之间的差异来评价图像质量。质量结构相似度(SSIM)是Wang Z.等人经过一系列研究^[2,3,10,11]后提出的图像质量评价方法。该方法着眼于两幅图像在结构上的相似程度，具体而言SSIM考虑了三个方面的因素：亮度相关性，对比度相关性以及结构相关性。该方法是目前2D图像质量评价领域比较优秀的方法。虽然这些传统的图像质量评价方法能够在一定的程度上反应立体视频中单视点单帧图像的质量，但这些方法终究都只是针对平面图像进行评价。

文献^[12]提出了一种结合亮度信息、运动信息和SSIM的视频质量评价算法。文献^[13]在人类视觉特性的基础上提出了基于视觉感兴趣区域的视频质量评价方法。这两种方法虽然都考虑到了视频中运动信息对视频质量评价的影响，但是其运动信息的计算是基于8×8的局部像素区域进行的，这种基于固定大小的方形区域的计算方式不能很好的反应三维场景中真实物体的运动情况。

立体视频质量评价算法的发展对立体视频的发展有着重要的意义。

发明内容