[发明专利]基于立体感知特性的立体图像质量评价方法

说明书

本发明公开了一种基于立体感知特性的立体图像质量评价方法：根据视差匹配算法计算左、右视点的视差图；分别以左、右视图作为基准图像，得出相对视差图；根据视差与深度公式，得到深度感知图；对深度感知图、左视图、右视图分别采用db7做四层小波分解；提取每一层三个子带的系数；求解第一层中每个子带的幅值、方差和熵特征；将剩下三层的系数做上述处理；计算深度感知图、左视图、右视图的频域统计特性；80％失真立体图像对进行训练，20％失真图像对做预测，得到立体图像质量。本发明模拟大脑中形成的深度视觉感知图像，结合图像内容，以图像频域信息作为手段，通过频域信息的统计特性描述立体图像质量，做出更加全面、准确的客观评价。

技术领域

本发明涉及图像处理领域，更具体的说，是涉及一种基于立体感知特性的立体图像质量评价方法。

背景技术

立体图像/视频能使人身临其境地体验到立体感及临场感，逐渐地成为多媒体研究的主流方向，在市场上的开发与应用需求也越来越迫切，如立体数字电视、3D电影、虚拟现实系统等。然而，立体视频在采集、存储、处理以及传输中由于立体视频采集系统、存储介质、压缩编码及传输设备等的限制及影响，不可避免地引入噪声或干扰从而造成在显示端的立体视频图像质量的下降。因此，立体图像质量评价研究成为立体视频系统、立体视频工程和立体视频处理领域中的关键问题。

当前立体图像质量评价主要分为三类。一类是将2D图像质量评价的方法分别应用左右视点，再辅以视差进行评价的方法。第二类是基于人来视觉系统(HVS)的评价方法。第三类是基于图像特征，结合机器学习的方法。以上评价方法在立体图像质量评价的不同发展阶段都取得了比较好的效果，但是由于视差和深度信息获取的不准确，双目特性考虑不充分，立体图像质量评价仍然是当前研究的热点和难点。

发明内容

本发明的目的是为了克服现有技术中的不足，模拟结合深度感知和图像内容的人类立体视觉特性，并在此基础上提供一种基于立体感知特性的立体图像质量评价方法，充分考虑图像特征，模拟大脑中形成的深度视觉感知图像，结合图像内容，以图像频域信息作为手段，通过频域信息的统计特性描述立体图像质量，进而做出更加全面、准确的客观评价。

本发明的目的是通过以下技术方案实现的。

本发明的基于立体感知特性的立体图像质量评价方法，每个失真立体图像对由左视图和右视图组成，包括以下步骤：

第一步：模拟人类立体视觉特性，根据视差匹配算法计算左、右视点的视差图；其中，视差图的计算充分考虑人类感知立体场景产生的直观深度感知，即有屏前、屏后的区分；在此基础上分别以左、右视图作为基准图像，得出有正、负视差区分的相对视差图；

第二步：根据视差与深度的关系公式，计算得到深度感知图；

第三步：对深度感知图、左视图、右视图分别采用db7做四层小波分解；

第四步：提取每一层的低-高、高-低、高-高三个子带的系数，共计12个子带；

第五步：求解第一层中每个子带的幅值、方差和熵特征；

第六步：将剩下三层的系数做与第五步相同的处理，最终每幅图像得到24个特征；

第七步：按照第四步到第六步的描述，计算深度感知图、左视图、右视图每幅图像的频域统计特性，共计72个特征；

第八步：将图像库中的图像随机分为两部分，其中80％的失真立体图像对用深度信念网络对得到的特征进行训练，根据训练得到的模型对剩下的20％的失真图像对的质量做预测，最终得到立体图像的质量。

第一步中视差匹配算法通过以左、右视图分别作为基准图像，将另一幅图像做平移，在平移过程中根据最高相关性系数得到最佳匹配点，具体地，

(1)计算左、右视图的水平梯度图，计算公式如下：