[发明专利]基于立体感知特性的立体图像质量评价方法

权利要求书

1.基于立体感知特性的立体图像质量评价方法，每个失真立体图像对由左视图和右视图组成，其特征在于，包括以下步骤：

第一步：模拟人类立体视觉特性，根据视差匹配算法计算左、右视点的视差图；其中，视差图的计算充分考虑人类感知立体场景产生的直观深度感知，即有屏前、屏后的区分；在此基础上分别以左、右视图作为基准图像，得出有正、负视差区分的相对视差图；

视差匹配算法通过以左、右视图分别作为基准图像，将另一幅图像做平移，在平移过程中根据最高相关性系数得到最佳匹配点，具体地，

(1)计算左、右视图的水平梯度图，计算公式如下：

其中，D_l、D_r分别为左视图和右视图，为左视图的水平梯度图，为右视图的水平梯度图；

(2)以左视图作为基准图像，对右视图进行平移，以20个像素点作为最大视差距离；在进行每一次平移的过程中，计算左、右视图的相似度图和梯度相似度图，相似度的计算如以下公式：

SSIM(x,y)＝l(x,y)·c(x,y)·s(x,y)

其中，l(x,y)为亮度对比，c(x,y)为对比度，s(x,y)为结构相关度；三个部分的计算公式分别为下：

其中，μ_x和μ_y分别为左视图的像素均值和右视图的像素均值，σ_x和σ_y分别为左视图的像素方差和右视图的像素方差，σ_xy为左右视图的像素协方差，C₁、C₂和C₃为调节常量；

然后对得到的相似度图和梯度相似度图用7×7的窗口进行滤波，最终左视图与平移后的右视图的相似度用以下公式计算得到：

corr(x,y)＝SSIM(x,y)+5·GSSIM(x，y)

其中，SSIM(x，y)和GSSIM(x，y)分别为相似度和梯度相似度；

这样，在进行1～20个像素点的平移过程中每个像素点的相似度不断更新为最大相似度，对应的平移像素差即为最优匹配视差；

(3)以右视图作为基准图像，重复(2)操作，同样得到最优匹配视差和对应点的像素差，比较两组视差图中对应的像素差的大小，像素差小的对应的最优视差为最终的绝对视差；

(4)在得到绝对视差后，需要根据人眼的直接立体感知特性将绝对视差修正为相对视差；即若左像素点的在右视图中的匹配点位于其相对右的方向，则将视差标记为正视差，若左像素点的在右视图中的匹配点位于其相对左的位置，则将视差标记为负视差，得到最终的相对视差图；

第二步：根据以下视差与深度的关系公式，计算得到深度感知图DPM：

其中，l表示双眼到屏幕的距离，P表示相对视差，e为双眼间距；

第三步：对深度感知图、左视图、右视图分别采用db7做四层小波分解；

第四步：提取每一层的低-高、高-低、高-高三个子带的系数，共计12个子带；

第五步：求解第一层中每个子带的幅值、方差和熵特征；

其中，m_k表示第k个子带的幅值，v_k表示第k个子带的方差，e_k表示第k个子带的熵，C_k(i,j)表示第k个子带(i,j)点处的小波系数，M_k和N_k分别表示第k个子带的长度和宽度，p[·]是子带系数的概率密度函数；

第六步：将剩下三层中每个子带的幅值、方差和熵做与第五步相同的处理，最终每幅图像得到24个特征；

第七步：按照第四步到第六步的描述，计算深度感知图、左视图、右视图每幅图像的频域统计特性，共计72个特征；

第八步：将图像库中的图像随机分为两部分，其中80％的失真立体图像对用深度信念网络对得到的特征进行训练，根据训练得到的模型对剩下的20％的失真图像对的质量做预测，最终得到立体图像的质量。

2.根据权利要求1所述的基于立体感知特性的立体图像质量评价方法，其特征在于，第八步中训练和测试图像样本的工具是深度信念网络：对左视图、右视图和深度感知图分别应用深度学习网络，共3个网络；训练过程分为两个阶段：无监督预训练和微调过程；在无监督学习过程中，包括1个可视层和3个隐层；对左视图和右视图的网络，设定隐层节点为90-70-50；对深度感知图的网络，设定隐层节点为60-50-40；学习率均为0.0005；在微调阶段，代价函数如下：

其中，f_i为第三个隐层的输出向量，s_i为主观质量分数，N是训练样本数；

这样，最小化代价函数的方法为：

其中，w_i是第i个样本的权重矩阵，b是偏差值，K(·)为核函数。