[发明专利]基于视觉显著特征提取的全参考立体图像质量客观评价方法

权利要求书

1.一种基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于包括以下步骤：

步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；

步骤(2).构建Log Gabor滤波器模型，对步骤(1)中的立体图像对进行卷积运算处理，分别得到参考和失真立体图像对中左右视图的能量响应图；

Log Gabor滤波器的表达式如下：

其中，f₀和θ₀是Log Gabor滤波器的中心频率和方位角，σ_θ和σ_f分别代表滤波器的方位角带宽和径向带宽，f和θ分别代表滤波器的径向坐标和方位角；

将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后，得到相应的能量响应图，表达式如下：

其中，I(x,y)为参考和失真立体图像对的左视图或右视图，为卷积运算；

步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图；

步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移，构造和左视图像素坐标对应的校准右视图I_R((x+d),y)，然后基于步骤(2)得到左视图和校准右视图的能量响应图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)和F_R((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图，d为步骤(3)计算得到的视差图D中对应坐标的视差值；

步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图，利用双目视图融合模型实现对立体图像的图像融合，分别得到参考的和失真的中间图像；双目视图融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (5-1)

其中，CI(x,y)即是双目视图融合后的中间图像，I_L(x,y)和I_R((x+d),y)分别为立体图像对的左视图和校准右视图；

步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图，并对其进行整合，建立整合后的视觉显著性图S_f；

步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，并对失真立体图像对的视差图的失真程度做出度量；采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性，作为反应失真立体图像对在视差图上质量失真程度的指标，表达式如下：

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，E()是均值函数，ε为大于零的常数，防止分母为零，Index₁和Index₂是深度特征信息的两个相似性度量指标；

步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征；

将Prewitt算子与被测图像进行卷积处理，得到包含边缘轮廓信息的梯度图，利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下：

其中，f(x,y)为立体图像对的左/右视图，为卷积运算，h_x和h_y是3×3的Prewitt垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：

纹理信息特征的提取采用局部二值模式LBP，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_p是图像的相邻像素点的灰度值，x和y代表中心像素点的坐标值，sgn(x)是阶跃函数；

步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的视觉信息特征，具体表达式如下：

GM_SR(x,y)＝GM_R(x,y)*S_f(x,y) GM_SD(x,y)＝GM_D(x,y)*S_f(x,y) (9-1)

TI_SR(x,y)＝TI_R(x,y)*S_f(x,y) TI_SD(x,y)＝TI_D(x,y)*S_f(x,y) (9-2)

I_SR(x,y)＝I_R(x,y)*S_f(x,y) I_SD(x,y)＝I_D(x,y)*S_f(x,y) (9-3)

其中，GM_R、TI_R和I_R分别是中间参考图像的边缘、纹理和亮度特征信息，GM_D、TI_D和I_D分别是中间失真图像的边缘、纹理和亮度特征信息；S_f为步骤(6)得到的整合后的视觉显著性图；

步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量，表达式如下：

其中，GM_SR、TI_SR和I_SR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征，GM_SD、TI_SD和I_SD表示中间失真图像的显著性增强的边缘、纹理和亮度信息，Index₃、Index₄和Index₅分别代表边缘、纹理和亮度信息特征的相似性度量指标，C₄是一个大于零的常数，其目的是防止分母为零；

步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理，得到L个尺度的中间参考和失真图像，对L个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量，总共得到N个相似性度量指标，则N＝2L+2；

降采样的方法如下：输入一幅图像，通过低通滤波器得到滤波图像，然后对滤波图像进行采样因子为m的降采样处理，得到降采样后的图像；

步骤(12).整合步骤(8)和(11)中得到的各个度量指标，进行支持向量机SVR训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。