[发明专利]基于双目融合的立体图像质量评价方法

摘要

本发明属于视频和图像处理领域，为提出一种符合人类视觉系统相关特性且更加有效的立体图像客观质量评价方法。使新的立体图像客观质量评价方法更加准确高效的评价立体图像的质量,同时在一定程度上推动立体成像技术的发展。本发明采用的技术方案是，基于双目融合的立体图像质量评价方法，包括以下步骤：步骤1：构建符合人类视觉特性的单目感知模型；步骤2：计算由步骤1得到的感知图像X_v的图像失真度Q_D1)计算左右视图图像子块的结构相似度SSIM2)构建最终的图像失真度Q_D结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D。本发明主要应用于视频和图像处理。

主权项

1.一种基于双目融合的立体图像质量评价方法，其特征是，步骤如下：步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成，原始图像X₀经过单目感知模型转变成为感知图像X_v；亮度掩盖定义如式(1)所示，其中T_l(x,y)为像素点(x,y)处的亮度掩盖门限，I₀(x,y)为图像在像素点(x,y)处的背景亮度，I(x,y)为图像在像素点(x,y)处的亮度值，ω_i,j为背景亮度加权矩阵，如式(2)所示步骤2：计算由步骤1得到的感知图像X_v的图像失真度Q_D1)计算左右视图图像子块的结构相似度SSIM首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(X_i,Y_i)，其中X_i、Y_i分别代表原始立体图像和失真立体图像的第i个图像子块；2)构建最终的图像失真度Q_D结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D；所述原始图像X₀经过单目感知模型转变成为感知图像X_v，具体步骤是：1)原始图像X₀经过亮度掩盖模块成为亮度掩模图像X₁首先计算原始图像X₀中每个像素点的亮度掩盖门限T_l(x,y)和背景亮度I₀(x,y)；然后计算原始图像X₀中每个像素点的亮度I(x,y)与背景亮度I₀(x,y)的差值d_l(x,y)，如果d_l(x,y)小于该像素点的亮度掩盖门限T_l(x,y)，则表明人眼无法从背景中准确识别到该像素点，因此将该像素点的亮度设置为该点背景亮度值；如果d_l(x,y)大于该像素点的亮度掩盖门限T_l(x,y)，则表明人眼能够正确识别出该像素点，因此保持该像素点亮度值不变，计算公式如下：d_l(x,y)＝|I(x,y)‑I₀(x,y)|重复上述计算过程直到整幅图像计算完成，最后就得到了亮度掩模图像X₁；采用的对比度敏感函数为μ为高频系数矩阵的空间频率与观看角度的商，对比度敏感度函数的倒数即为纹理掩盖门限；2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂首先分别将参考图像和失真图像的亮度掩模图像分为8×8的图像子块；然后计算每个图像子块的纹理掩盖门限值T_l(μ)；最后依据所获得的纹理掩盖门限值计算失真图像中每个图像子块的纹理掩模图像子块，从而获得完整的失真图像纹理掩模图像X₂；3)纹理掩模图像X₂经过多通道模块成为最终的感知图像X_v首先，利用Le Gall 5/3小波对纹理掩模图像X₂进行三级小波分解得到1个低频分量系数矩阵cA(p)和9个高频系数矩阵，分别为垂直方向高频细节分量矩阵cV_λ(p)，水平方向高频细节分量矩阵cH_λ(p)和对角方向高频细节分量矩阵cD_λ(p)，其中λ为小波分解级数，λ＝{1,2,3}；然后，计算各通道对比敏感度权重ω；最后，使用各通道对比度敏感度权重ω对高频系数矩阵进行加权重构，从而获得最终的感知图像X_v；步骤2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂进一步地具体过程为：计算失真图像第i个子块中像素点(x,y)处的像素值与参考图像中对应图像块像素值Iⁱ(x,y)的差值如果小于该图像块纹理掩盖门限T_lⁱ(μ)，则表明人眼无法感受到失真图像与参考图像对应像素点的差异，因此将失真图像该像素点的像素值设置为参考图像对应点的像素值；如果差值大于该图像块纹理掩盖门限T_lⁱ(μ)，则表明人眼能够正确识别出该像素点，保持该像素点像素值不变，优化失真图像的过程如式(11)所示：依据以上计算过程对失真图像中每个子块每个像素点进行计算从而获得完整的失真图像纹理掩模图像X₂；加权求和中权重因子的构建步骤是：①视觉显著性权重因子采用图像中心点的各向异性高斯核函数计算不同图像子块的权重，进而模拟视觉心理学的中央偏移特性，具体计算公式如下：其中，CB(x,y)表示图像块(x,y)对中心图像块(x₀,y₀)的偏移信息，σ_h和σ_v分别表示图像块水平方向和垂直方向的标准差；②增益权重因子使用增益控制理论构建增益权重因子，模拟双目融合特性。