[发明专利]结合JND模型的交叉验证深度图质量评价方法

权利要求书

1.一种结合JND模型的交叉验证深度图质量评价方法，其特征在于包括以下步骤：

①将待评价的深度图记为D_tar，将D_tar对应的彩色图记为Τ_tar，将除D_tar和Τ_tar所在视点外的另一个已知视点定义为辅助视点，将辅助视点上的彩色图记为T_ref；然后通过将D_tar中的所有像素点的像素值转化为视差值，将Τ_tar中的所有像素点经3D-Warping映射到T_ref中；其中，D_tar、Τ_tar和T_ref的垂直方向上的像素点的总个数为M，D_tar、Τ_tar和T_ref的水平方向上的像素点的总个数为N；

②令E_tar表示尺寸大小与D_tar的尺寸大小相同的差值图，将E_tar中坐标位置为(x,y)的像素点的像素值记为E_tar(x,y)，当辅助视点在D_tar和Τ_tar所在视点的左边时，判断y+d_tar,p(x,y)是否大于N，如果是，则令E_tar(x,y)＝0，否则，满足u＝x、v＝y+d_tar,p(x,y)，E_tar(x,y)＝|Ι_tar(x,y)-Ι_ref(u,v)|；当辅助视点在D_tar和Τ_tar所在视点的右边时，判断y-d_tar,p(x,y)是否小于1，如果是，则令E_tar(x,y)＝0，否则，满足u＝x、v＝y-d_tar,p(x,y)，E_tar(x,y)＝|Ι_tar(x,y)-Ι_ref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，d_tar,p(x,y)表示D_tar中坐标位置为(x,y)的像素点的像素值转化得到的视差值，符号“| |”为取绝对值符号，Ι_tar(x,y)表示Τ_tar中坐标位置为(x,y)的像素点的亮度分量，Ι_ref(u,v)表示T_ref中坐标位置为(u,v)的像素点的亮度分量；

③令C表示尺寸大小与D_tar的尺寸大小相同的遮挡掩膜图像，将C中坐标位置为(x,y)的像素点的像素值记为C(x,y)，将C中的每个像素点的像素值初始化为0，将Τ_tar中经3D-Warping映射到T_ref中坐标位置为(u,v)处的像素点的总个数记为N_(u,v)；当N_(u,v)＝1时，令C(x,y)＝0；当N_(u,v)>1时，其中，N_(u,v)的值为0或为1或大于1，D_tar(x,y)表示D_tar中坐标位置为(x,y)的像素点的像素值，max()为取最大值函数，1≤x_(u,v),i≤M,1≤y_(u,v),i≤N，(x_(u,v),i,y_(u,v),i)表示Τ_tar中经3D-Warping映射到T_ref中坐标位置为(u,v)处的N_(u,v)个像素点中的第i个像素点在Τ_tar中的坐标位置，D_tar(x_(u,v),i,y_(u,v),i)表示D_tar中坐标位置为(x_(u,v),i,y_(u,v),i)的像素点的像素值；

④利用C去除E_tar中被遮挡的像素点，得到去遮挡后的差值图，记为E'_tar，将E'_tar中坐标位置为(x,y)的像素点的像素值记为E'_tar(x,y)，E'_tar(x,y)＝E_tar(x,y)×(1-C(x,y))；

⑤计算T_ref中的每个像素点的纹理判断因子，将T_ref中坐标位置为(u,v)的像素点的纹理判断因子记为z(u,v)，其中，1≤u≤M,1≤v≤N，z_h(u,v)表示T_ref中坐标位置为(u,v)的像素点的水平方向的纹理判断因子，z_h(u,v)的值为1或0，z_h(u,v)＝1表示T_ref中坐标位置为(u,v)的像素点为水平方向的纹理像素点，z_h(u,v)＝0表示T_ref中坐标位置为(u,v)的像素点为水平方向的非纹理像素点，z_v(u,v)表示T_ref中坐标位置为(u,v)的像素点的垂直方向的纹理判断因子，z_v(u,v)的值为1或0，z_v(u,v)＝1表示T_ref中坐标位置为(u,v)的像素点为垂直方向的纹理像素点，z_v(u,v)＝0表示T_ref中坐标位置为(u,v)的像素点为垂直方向的非纹理像素点；

⑥令T表示尺寸大小与T_ref的尺寸大小相同的区域标记图，将T中坐标位置为(u,v)的像素点的像素值记为T(u,v)，将T中的每个像素点的像素值初始化为0；利用Canny算子检测出T_ref中的边缘区域，假设T_ref中坐标位置为(u,v)的像素点属于边缘区域，则令T(u,v)＝1；假设T_ref中坐标位置为(u,v)的像素点的纹理判断因子z(u,v)＝1，则当T(u,v)＝0时确定T_ref中坐标位置为(u,v)的像素点属于纹理区域，并重新令T(u,v)＝2；其中，T(u,v)的值为0或1或2，T(u,v)＝0代表T_ref中坐标位置为(u,v)的像素点属于平坦区域，T(u,v)＝1代表T_ref中坐标位置为(u,v)的像素点属于边缘区域，T(u,v)＝2代表T_ref中坐标位置为(u,v)的像素点属于纹理区域；

⑦引入基于亮度掩蔽和纹理掩蔽效应的JND模型，利用JND模型，并根据T_ref中的每个像素点所属区域，计算T_ref中的每个像素点的误差可视阈值，将T_ref中坐标位置为(u,v)的像素点的误差可视阈值记为Th(u,v)，其中，max()为取最大值函数，min()为取最小值函数，bg(u,v)表示T_ref中坐标位置为(u,v)的像素点的平均背景亮度，mg(u,v)表示T_ref中坐标位置为(u,v)的像素点的周围亮度的最大平均加权，LA(u,v)表示T_ref中坐标位置为(u,v)的像素点的亮度掩蔽效应，

f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01；

⑧令E表示尺寸大小与D_tar的尺寸大小相同的深度误差图，将E中坐标位置为(x,y)的像素点的像素值记为E(x,y)，当E'_tar(x,y)＝0时，E(x,y)＝0；当E'_tar(x,y)≠0时，其中，V_(x,y)＝(u,v)表示一个映射过程，(x,y)为Τ_tar中的像素点的坐标位置，(u,v)为T_ref中的像素点的坐标位置，当T_ref所在视点在Τ_tar所在视点的左边时，满足u＝x、v＝y+d_tar,p(x,y)；当T_ref所在视点在Τ_tar所在视点的右边时，满足u＝x、v＝y-d_tar,p(x,y)；

⑨统计E中像素值为1的像素点的总个数，记为num_E；然后计算D_tar中的错误像素点的比率作为D_tar的质量评价值，记为EPR，