[发明专利]一种基于结构失真的立体图像客观质量评价方法

权利要求书

1.一种基于结构失真的立体图像客观质量评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将原始的无失真的立体图像S_org的左视点灰度图像记为L_org，将原始的无失真的立体图像S_org的右视点灰度图像记为R_org，将待评价的失真的立体图像S_dis的左视点灰度图像记为L_dis，将待评价的失真的立体图像S_dis的右视点灰度图像记为R_dis；

②对L_org和L_dis、R_org和R_dis4幅图像分别实施区域划分，分别得到L_org和L_dis、R_org和R_dis4幅图像各自对应的敏感区域矩阵映射图，将L_org和L_dis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为A_L，对于A_L中坐标位置为(i,j)处的系数值，将其记为A_L(i,j)，将R_org和R_dis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为A_R，对于A_R中坐标位置为(i,j)处的系数值，将其记为A_R(i,j)，其中，此处0≤i≤(W-8)，0≤j≤(H-8)，W表示L_org、L_dis、R_org和R_dis的宽，H表示L_org、L_dis、R_org和R_dis的高；

③将L_org和L_dis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块，然后计算L_org和L_dis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图，将该结构幅值失真映射图的系数矩阵记为B_L，对于B_L中坐标位置为(i,j)处的系数值，将其记为B_L(i,j)，BL(i,j)=2×σorg,dis,L(i,j)+C1(σorg,L(i,j))2+(σdis,L(i,j))2+C1,]]>其中，B_L(i,j)亦表示L_org中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与L_dis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值，σorg,L(i,j)=164Σx=07Σy=07(Lorg(i+x,j+y)-Uorg,L(i,j))2,]]>Uorg,L(i,j)=164Σx=07Σy=07Lorg(i+x,j+y),]]>σdis,L(i,j)=164Σx=07Σy=07(Ldis(i+x,j+y)-Udis,L(i,j))2,]]>Udis,L(i,j)=164Σx=07Σy=07Ldis(i+x,j+y),]]>σorg,dis,L(i,j)=164Σx=07Σy=07((Lorg(i+x,j+y)-Uorg,L(i,j))×(Ldis(i+x,j+y)-Udis,L(i,j))),]]>L_org(i+x,j+y)表示L_org中坐标位置为(i+x,j+y)的像素点的像素值，L_dis(i+x,j+y)表示L_dis中坐标位置为(i+x,j+y)的像素点的像素值，C₁表示常数，此处0≤i≤(W-8)，0≤j≤(H-8)；

将R_org和R_dis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块，然后计算R_org和R_dis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图，将该结构幅值失真映射图的系数矩阵记为B_R，对于B_R中坐标位置为(i,j)处的系数值，将其记为B_R(i,j)，BR(i,j)=2×σorg,dis,R(i,j)+C1(σorg,R(i,j))2+(σdis,R(i,j))2+C1,]]>其中，B_R(i,j)亦表示R_org中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与R_dis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值，σorg,R(i,j)=164Σx=07Σy=07(Rorg(i+x,j+y)-Uorg,R(i,j))2,]]>Uorg,R(i,j)=164Σx=07Σy=07Rorg(i+x,j+y),]]>σdis,R(i,j)=164Σx=07Σy=07(Rdis(i+x,j+y)-Udis,R(i,j))2,]]>Udis,R(i,j)=164Σx=07Σy=07Rdis(i+x,j+y),]]>σorg,dis,R(i,j)=164Σx=07Σy=07((Rorg(i+x,j+y)-Uorg,R(i,j))×(Rdis(i+x,j+y)-Udis,R(i,j))),]]>R_org(i+x,j+y)表示R_org中坐标位置为(i+x,j+y)的像素点的像素值，R_dis(i+x,j+y)表示R_dis中坐标位置为(i+x,j+y)的像素点的像素值，C₁表示常数，此处0≤i≤(W-8)，0≤j≤(H-8)；

④对L_org和L_dis2幅图像分别实施水平及垂直方向Sobel算子处理，分别得到L_org和L_dis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图，将L_org实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为I_h，org，L，对于I_h，org,L中坐标位置为(i,j)处的系数值，将其记为I_h，org，L(i,j)，Ih,org,L(i,j)=Lorg(i+2,j)+2Lorg(i+2,j+1)+Lorg(i+2,j+2)-Lorg(i,j)-2Lorg(i,j+1)-Lorg(i,j+2),]]>将L_org实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为I_v，org，L，对于I_v，org,L中坐标位置为(i,j)处的系数值，将其记为I_v，org,L(i,j)，Iv,org,L(i,j)=Lorg(i,j+2)+2Lorg(i+1,j+2)+Lorg(i+2,j+2)-Lorg(i,j)-2Lorg(i+1,j)-Lorg(i+2,j),]]>将L_dis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为I_h，dis，L，对于I_h，dis，L中坐标位置为(i,j)处的系数值，将其记为I_h，dis,L(i,j)，Ih,dis,L(i,j)=Ldis(i+2,j)+2Ldis(i+2,j+1)+Ldis(i+2,j+2)-Ldis(i,j)-2Ldis(i,j+1)-Ldis(i,j+2),]]>将L_dis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为I_v，dis，L，对于I_v，dis，L中坐标位置为(i,j)处的系数值，将其记为I_v，dis，L(i,j)，Iv,dis,L(i,j)=Ldis(i,j+2)+2Ldis(i+1,j+2)+Ldis(i+2,j+2)-Ldis(i,j)-2Ldis(i+1,j)-Ldis(i+2,j),]]>其中，L_org(i+2,j)、L_org(i+2,j+1)、L_org(i+2,j+2)、L_org(i,j)、L_org(i,j+1)、L_org(i,j+2)、L_org(i+1,j+2)、L_org(i+1,j)分别对应表示L_org中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值，L_dis(i+2,j)、L_dis(i+2,j+1)、L_dis(i+2,j+2)、L_dis(i,j)、L_dis(i,j+1)、L_dis(i,j+2)、L_dis(i+1,j+2)、L_dis(i+1,j)分别对应表示L_dis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值；

对R_org和R_dis2幅图像分别实施水平及垂直方向Sobel算子处理，分别得到R_org和R_dis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图，将R_org实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为I_h，org,R，对于I_h，org,R中坐标位置为(i,j)处的系数值，将其记为I_h，org，R(i,j)，Ih,org,R(i,j)=Rorg(i+2,j)+2Rorg(i+2,j+1)+Rorg(i+2,j+2)-Rorg(i,j)-2Rorg(i,j+1)-Rorg(i,j+2),]]>将R_org实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为I_v，org，R，对于I_v，org，R中坐标位置为(i,j)处的系数值，将其记为I_v，org,R(i,j)，Iv,org,R(i,j)=Rorg(i,j+2)+2Rorg(i+1,j+2)+Rorg(i+2,j+2)-Rorg(i,j)-2Rorg(i+1,j)-Rorg(i+2,j),]]>将R_dis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为I_h，dis，R，对于I_h，dis，R中坐标位置为(i,j)处的系数值，将其记为I_h，dis,R(i,j)，Ih,dis,R(i,j)=Rdis(i+2,j)+2Rdis(i+2,j+1)+Rdis(i+2,j+2)-Rdis(i,j)-2Rdis(i,j+1)-Rdis(i,j+2),]]>将R_dis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为I_v，dis，R，对于I_v，dis，R中坐标位置为(i,j)处的系数值，将其记为I_v，dis,R(i,j)，Iv,dis,R(i,j)=Rdis(i,j+2)+2Rdis(i+1,j+2)+Rdis(i+2,j+2)-Rdis(i,j)-2Rdis(i+1,j)-Rdis(i+2,j),]]>其中，R_org(i+2,j)、R_org(i+2,j+1)、R_org(i+2,j+2)、R_org(i,j)、R_org(i,j+1)、R_org(i,j+2)、R_org(i+1,j+2)、R_org(i+1,j)分别对应表示R_org中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值，R_dis(i+2,j)、R_dis(i+2,j+1)、R_dis(i+2,j+2)、R_dis(i,j)、R_dis(i,j+1)、R_dis(i,j+2)、R_dis(i+1,j+2)、R_dis(i+1,j)分别对应表示R_dis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值；

⑤计算L_org和L_dis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图，将该结构方向失真映射图的系数矩阵记为E_L，对于E_L中坐标位置为(i,j)处的系数值，将其记为E_L(i,j)，EL(i,j)=Ih,org,L(i,j)×Ih,dis,L(i,j)+Iv,org,L(i,j)×Iv,dis,L(i,j)+C2(Ih,org,L(i,j))2+(Iv,org,L(i,j))2×(Ih,dis,L(i,j))2+(Iv,dis,L(i,j))2+C2,]]>其中，C₂表示常数；

计算R_org和R_dis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图，将该结构方向失真映射图的系数矩阵记为E_R，对于E_R中坐标位置为(i,j)处的系数值，将其记为E_R(i,j)，ER(i,j)=Ih,org,R(i,j)×Ih,dis,R(i,j)+Iv,org,R(i,j)×Iv,dis,R(i,j)+C2(Ih,org,R(i,j))2+(Iv,org,R(i,j))2×(Ih,dis,R(i,j))2+(Iv,dis,R(i,j))2+C2;]]>

⑥计算L_org和L_dis的结构失真评价值，记为Q^L，Q^L=ω₁×Q_m，L+ω₂×Q_nm，L，Qm,L=1NL,mΣi=0W-8Σj=0H-8(0.5×(BL(i,j)+EL(i,j))×AL(i,j)),]]>NL,m=Σi=0W-8Σj=0H-8AL(i,j),]]>Qnm,L=1NL,nmΣi=0W-8Σj=0H-8(0.5×(BL(i,j)+EL(i,j))×(1-AL(i,j))),]]>NL,nm=Σi=0W-8Σj=0H-8(1-AL(i,j)),]]>其中，ω₁表示L_org和L_dis中敏感区域的权重值，ω₂表示L_org和L_dis中非敏感区域的权重值；

计算R_org和R_dis的结构失真评价值，记为Q^R，Q^R=ω′₁×Q_m，R+ω′₂×Q_nm，R，Qm,R=1NR,mΣi=0W-8Σj=0H-8(0.5×(BR(i,j)+ER(i,j))×AR(i,j)),]]>NR,m=Σi=0W-8Σj=0H-8AR(i,j),]]>Qnm,R=1NR,nmΣi=0W-8Σj=0H-8(0.5×(BR(i,j)+ER(i,j))×(1-AR(i,j))),]]>NR,nm=Σi=0W-8Σj=0H-8(1-AR(i,j)),]]>其中，ω′₁表示R_org和R_dis中敏感区域的权重值，ω′₂表示R_org和R_dis中非敏感区域的权重值；

⑦根据Q^L和Q^R计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的空间频率相似度度量，记为Q_F，Q_F=β₁×Q^L+(1-β₁)×Q^R，其中，β₁表示Q^L的权值；

⑧计算L_org和R_org的绝对差值图像，以矩阵形式表示为计算L_dis和R_dis的绝对差值图像，以矩阵形式表示为其中，“||”为取绝对值符号；

⑨将和2幅图像分别分割成个互不重叠的尺寸大小为8×8的块，然后对和2幅图像中的所有块分别实施奇异值分解，得到对应的由其每个块的奇异值矩阵组成的奇异值映射图和对应的由其每个块的奇异值矩阵组成的奇异值映射图，将实施奇异值分解后得到的奇异值映射图的系数矩阵记为G_org，对于G_org中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值，将其记为将实施奇异值分解后得到的奇异值映射图的系数矩阵记为G_dis，对于G_dis中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值，将其记为其中，W_LR表示和的宽，H_LR表示和的高，0≤n≤WLR×HLR8×8-1,]]>0≤p≤7,0≤q≤7；

⑩计算对应的奇异值映射图和对应的奇异值映射图的奇异值偏差评价值，记为K，K=64WLR×HLR×Σn=0WLR×HLR/64-1Σp=07(Gorgn(p,p)×|Gorgn(p,p)-Gdisn(p,p)|)Σp=07Gorgn(p,p),]]>其中，表示G_org中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值，表示G_dis中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值；

对和分别实施奇异值分解，分别得到和各自对应的2个正交矩阵和1个奇异值矩阵，将实施奇异值分解后得到的2个正交矩阵分别记为χ_org和V_org，将实施奇异值分解后得到的奇异值矩阵记为O_org，将实施奇异值分解后得到的2个正交矩阵分别记为χ_dis和V_dis，将实施奇异值分解后得到的奇异值矩阵记为O_dis，

分别计算和2幅图像剥夺奇异值后的残留矩阵图，将剥夺奇异值后的残留矩阵图记为X_org，X_org=χ_org×Λ×V_org，将剥夺奇异值后的残留矩阵图记为X_dis，X_dis=χ_dis×Λ×V_dis，其中，Λ表示单位矩阵，Λ的大小与O_org和O_dis大小一致；

计算X_org和X_dis的均值偏差率，记为其中，x表示X_org和X_dis中的像素点的横坐标，y表示X_org和X_dis中的像素点的纵坐标；

计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的立体感知评价度量，记为Q_S，其中，τ表示常数，用于调节K和在Q_S中所起的重要性；

根据Q_F和Q_S，计算待评价的失真的立体图像S_dis的图像质量评价分值，记为Q，Q=Q_F×（Q_S）^ρ，其中，ρ表示权重系数值。