[发明专利]一种无参考立体图像质量客观评价方法

摘要

本发明公开了一种无参考立体图像质量客观评价方法，其在训练阶段，通过获取每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，得到视觉字典质量对照表；在测试阶段，对于任意一幅失真立体图像，先获取该失真立体图像对应的直方图特征向量，然后根据已构造的视觉字典质量对照表，获取该失真立体图像的客观质量评价预测值；优点是降低了计算复杂度，且由于充分考虑了立体视觉感知特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

主权项

1.一种无参考立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段的具体步骤为：①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_2、对于每幅原始的无失真立体图像，取在JPEG压缩、JPEG2000压缩、高斯模糊和高斯白噪声失真情况下的各自4幅不同失真强度的失真立体图像，每幅原始的无失真立体图像对应的失真立体图像共16幅，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的左视点图像和右视点图像对应记为{Ldis,k,n(x,y)}和{Rdis,k,n(x,y)}，其中，1≤n≤16，Ldis,k,n(x,y)表示{Ldis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis,k,n(x,y)表示{Rdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；①_3、对每幅原始的无失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像的左视点图像的幅值图像，将{Lorg,k(x,y)}的幅值图像记为{GL_org,k(x,y)}；并对每幅原始的无失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像的右视点图像的幅值图像，将{Rorg,k(x,y)}的幅值图像记为{GR_org,k(x,y)}；其中，GL_org,k(x,y)表示{GL_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_org,k(x,y)表示{GR_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，对每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像，将{Ldis,k,n(x,y)}的幅值图像记为{GL_dis,k,n(x,y)}；并对每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像实施DoG滤波，得到每幅原始的无失真立体图像对应的每幅失真立体图像的右视点图像的幅值图像，将{Rdis,k,n(x,y)}的幅值图像记为{GR_dis,k,n(x,y)}；其中，GL_dis,k,n(x,y)表示{GL_dis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis,k,n(x,y)表示{GR_dis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；①_4、根据每幅原始的无失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像的双目竞争响应特征图记为{Gorg,k(x,y)}，其中，Gorg,k(x,y)表示{Gorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，根据每幅原始的无失真立体图像对应的每幅失真立体图像的左视点图像的幅值图像和右视点图像的幅值图像，采用双目竞争模型，得到每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图记为{Gdis,k,n(x,y)}，其中，Gdis,k,n(x,y)表示{Gdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值；①_5、计算每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，将{G_org,k(x,y)}与{G_dis,k,n(x,y)}之间的相似度图像记为{S_dis,k,n(x,y)}，将{S_dis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值记为S_dis,k,n(x,y)，其中，C为控制参数；①_6、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，计算每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的特征调制图像记为{Mdis,k,n(x,y)}，将{Mdis,k,n(x,y)}中坐标位置为(x,y)的像素点的像素值记为Mdis,k,n(x,y)，Mdis,k,n(x,y)＝max(Gorg,k(x,y),Gdis,k,n(x,y))，其中，max()为取最大值函数；①_7、根据每幅原始的无失真立体图像的双目竞争响应特征图与该幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图之间的相似度图像，及每幅原始的无失真立体图像对应的每幅失真立体图像的特征调制图像，计算每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的质量客观评价预测值记为Qdis,k,n，①_8、根据每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图，采用局部二值化模式操作，求取每幅原始的无失真立体图像对应的每幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量，将第k幅原始的无失真立体图像对应的第n幅失真立体图像的双目竞争响应特征图的局部二值化模式的直方图特征向量记为Hdis,k,n，将Hdis,k,n中的第m个元素记为Hdis,k,n(m)，其中，Hdis,k,n的维数为1×m'维，m'＝P+2，P表示局部二值化模式操作中的领域参数，1≤m≤m'；①_9、使每幅原始的无失真立体图像对应的每幅失真立体图像的质量客观评价预测值与双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应，构成视觉字典质量对照表，该视觉字典质量对照表中有16K个一一对应关系；所述的测试阶段的具体步骤为：②_1、对于任意一幅宽度为W且高度为H的失真立体图像，将该失真立体图像作为待评价的失真立体图像，并记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_2、对{Ldis(x,y)}实施DoG滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；并对{Rdis(x,y)}实施DoG滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_3、根据{GL_dis(x,y)}和{GR_dis(x,y)}，采用双目竞争模型，得到Sdis的双目竞争响应特征图，记为{Gdis(x,y)}，其中，Gdis(x,y)表示{Gdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_4、根据{Gdis(x,y)}，采用局部二值化模式操作，求取Sdis的双目竞争响应特征图的局部二值化模式的直方图特征向量，记为Hdis，将Hdis中的第m个元素记为Hdis(m)，其中，Hdis的维数为1×m'维，1≤m≤m'；②_5、计算Hdis与训练阶段构成的视觉字典质量对照表中的每个双目竞争响应特征图的局部二值化模式的直方图特征向量之间的距离，将Hdis与Hdis,k,n之间的距离记为Ddis,k,n，Ddis,k,n＝|Hdis‑Hdis,k,n|；然后将计算得到的16K个距离构成的集合记为{Ddis,k,n}；接着对{Ddis,k,n}中的所有距离按从小到大的顺序排列，将排列后形成的集合记为{D'dis,k,n}；之后从训练阶段构成的视觉字典质量对照表中，提取出与{D'dis,k,n}中的前T个距离各自对应的双目竞争响应特征图的局部二值化模式的直方图特征向量；再从训练阶段构成的视觉字典质量对照表中，找出与提取出的T个双目竞争响应特征图的局部二值化模式的直方图特征向量一一对应的质量客观评价预测值；最后将找出的T个质量客观评价预测值构成的集合记为{Qdis,1,Qdis,2,…,Qdis,t,…,Qdis,T}；其中，符号“||”为取绝对值符号，1≤T≤16K，1≤t≤T，Qdis,1,Qdis,2,…,Qdis,t,…,Qdis,T对应表示找出的第1个质量客观评价预测值、第2个质量客观评价预测值、…、第t个质量客观评价预测值、…、第T个质量客观评价预测值；②_6、计算S_dis的客观质量评价预测值，记为Q_dis，其中，D'_dis,t表示{D'_dis,k,n}中的第t个距离。