[发明专利]基于双目融合特征相似度的无参考立体图像质量评价方法

权利要求书

1.一种基于双目融合特征相似度的无参考立体图像质量评价方法，其特征在于包括以下步骤：

①令S_dis表示待评价的失真立体图像，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}；然后采用块匹配方法，计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为{d_dis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示S_dis的宽度，H表示S_dis的高度，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，d_dis(x,y)表示{d_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②采用Gabor滤波方法对{L_dis(x,y)}进行操作，得到左视点响应图，记为{G_L,dis(x,y)}；并采用LOG滤波方法对{L_dis(x,y)}进行操作，得到左视点视觉特征图，记为{F_L,dis(x,y)}；其中，G_L,dis(x,y)表示{G_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_L,dis(x,y)表示{F_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，采用Gabor滤波方法对{R_dis(x,y)}进行操作，得到右视点响应图，记为{G_R,dis(x,y)}；并采用LOG滤波方法对{R_dis(x,y)}进行操作，得到右视点视觉特征图，记为{F_R,dis(x,y)}；其中，G_R,dis(x,y)表示{G_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，F_R,dis(x,y)表示{F_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

③根据{L_dis(x,y)}和{R_dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合图像，记为{R_L,R,dis(x,y)}，其中，R_L,R,dis(x,y)表示{R_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

④根据{F_L,dis(x,y)}和{F_R,dis(x,y)}、{G_L,dis(x,y)}和{G_R,dis(x,y)}、{d_dis(x,y)}，计算S_dis的左右视点融合视觉特征图，记为{F_L,R,dis(x,y)}，其中，F_L,R,dis(x,y)表示{F_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑤计算{R_L,R,dis(x,y)}与{F_L,R,dis(x,y)}之间的自相似度图像，记为{H_dis,sim(x,y)}，其中，H_dis,sim(x,y)表示{H_dis,sim(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用量化方法对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的量化图像，记为{H_dis,sim,Q(x,y)}；并采用局部二值化模式操作对{H_dis,sim(x,y)}进行处理，得到{H_dis,sim(x,y)}的局部二值化模式图像，记为{H_dis,sim,lbp(x,y)}；其中，H_dis,sim,Q(x,y)表示{H_dis,sim,Q(x,y)}中坐标位置为(x,y)的像素点的像素值，H_dis,sim,lbp(x,y)表示{H_dis,sim,lbp(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑦采用直方图统计方法对{H_dis,sim,Q(x,y)}进行统计操作，得到{H_dis,sim,Q(x,y)}的直方图统计特征向量，记为H_{dis,sim,Q,hist}；同样，采用直方图统计方法对{H_dis,sim,lbp(x,y)}进行统计操作，得到{H_dis,sim,lbp(x,y)}的直方图统计特征向量，记为H_{dis,sim,lbp,hist}；其中，H_{dis,sim,Q,hist}的维数为1×m'维，H_{dis,sim,Q,hist}中的第m个元素为H_{dis,sim,Q,hist}(m)，H_{dis,sim,lbp,hist}的维数为1×m'维，H_{dis,sim,lbp,hist}中的第m个元素为H_{dis,sim,lbp,hist}(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的领域参数；

⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后利用主观质量评价方法评价出训练集中的每幅失真立体图像的平均主观评分值，将训练集中的第j幅失真立体图像的平均主观评分值记为DMOS_j；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像对应的自相似度图像的量化图像的直方图统计特征向量和自相似度图像的局部二值化模式图像的直方图统计特征向量分别记为H_j,sim,Q,hist和H_{j,sim,lbp,hist}；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100，H_j,sim,Q,hist和H_{j,sim,lbp,hist}的维数均为1×m'维；

⑨计算S_dis对应的直方图统计特征向量与训练集中的每幅失真立体图像对应的直方图统计特征向量之间的距离，将S_dis对应的直方图统计特征向量与训练集中的第j幅失真立体图像对应的直方图统计特征向量之间的距离记为D_dis,j，D_dis,j＝|H_{dis,sim,Q,hist}-H_j,sim,Q,hist|+|H_{dis,sim,lbp,hist}-H_{j,sim,lbp,hist}|，并将这N'个距离构成的集合记为{D_dis,j|1≤j≤N'}，其中，符号“||”为取绝对值符号；然后对{D_dis,j|1≤j≤N'}中的所有距离按从小到大的顺序排列，将排列后的集合记为{D'_dis,j|1≤j≤N'}；接着获取{D'_dis,j|1≤j≤N'}中的前K个距离各自对应的训练集中的失真立体图像的平均主观评分值，并将这K个平均主观评分值构成的集合记为{DMOS'₁,DMOS'₂,…,DMOS'_K}，其中，1≤K≤N'，DMOS'₁,DMOS'₂,…,DMOS'_K对应表示{D'_dis,j|1≤j≤N'}中的第1个距离对应的训练集中的失真立体图像的平均主观评分值、第2个距离对应的训练集中的失真立体图像的平均主观评分值、…、第K个距离对应的训练集中的失真立体图像的平均主观评分值。

⑩计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,k表示{D'_dis,j|1≤j≤N'}中的第k个距离，DMOS'_k表示D'_dis,k对应的训练集中的失真立体图像的平均主观评分值。