[发明专利]一种基于局部对比度模式的通用无参考图像质量评价方法

摘要

本发明公开了一种基于局部对比度模式的通用无参考图像质量评价方法，其在训练阶段获取每幅无失真图像的8幅方向信息图像和1幅无方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量，将所有直方图统计特征向量组成字典学习特征矩阵；在测试阶段获取待评价的失真图像的8幅方向信息图像和1幅无方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量，将所有直方图统计特征向量组成特征向量，然后根据字典学习特征矩阵和特征向量，并利用稀疏算法，获取视觉感知稀疏特征向量，接着利用支持向量回归，并根据视觉感知稀疏特征向量，预测得到客观质量评价预测值；优点是能够有效地提高客观评价结果与主观感知之间的相关性。

主权项

1.一种基于局部对比度模式的通用无参考图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段的具体步骤为：①_1、选取K幅原始的无失真图像，将第k幅原始的无失真图像记为{Lorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，W表示原始的无失真图像的宽度，H表示原始的无失真图像的高度，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_2、对每幅原始的无失真图像实施8个方向高斯函数偏导数滤波器的滤波，得到每幅原始的无失真图像的8幅方向信息图像，将{Lorg,k(x,y)}的8幅方向信息图像分别记为{G1,k(x,y)}、{G2,k(x,y)}、{G3,k(x,y)}、{G4,k(x,y)}、{G5,k(x,y)}、{G6,k(x,y)}、{G7,k(x,y)}和{G8,k(x,y)}；并对每幅原始的无失真图像实施无方向拉普拉斯高斯滤波器的滤波，得到每幅原始的无失真图像的1幅无方向信息图像，将{Lorg,k(x,y)}的无方向信息图像记为{G0,k(x,y)}；其中，G1,k(x,y)表示{G1,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G2,k(x,y)表示{G2,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G3,k(x,y)表示{G3,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G4,k(x,y)表示{G4,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G5,k(x,y)表示{G5,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G6,k(x,y)表示{G6,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G7,k(x,y)表示{G7,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G8,k(x,y)表示{G8,k(x,y)}中坐标位置为(x,y)的像素点的像素值，G0,k(x,y)表示{G0,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_3、采用局部二值化模式操作对每幅原始的无失真图像的8幅方向信息图像分别进行处理，得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像，将{G1,k(x,y)}的局部二值化模式特征图像记为{LBP1,k(x,y)}，将{G2,k(x,y)}的局部二值化模式特征图像记为{LBP2,k(x,y)}，将{G3,k(x,y)}的局部二值化模式特征图像记为{LBP3,k(x,y)}，将{G4,k(x,y)}的局部二值化模式特征图像记为{LBP4,k(x,y)}，将{G5,k(x,y)}的局部二值化模式特征图像记为{LBP5,k(x,y)}，将{G6,k(x,y)}的局部二值化模式特征图像记为{LBP6,k(x,y)}，将{G7,k(x,y)}的局部二值化模式特征图像记为{LBP7,k(x,y)}，将{G8,k(x,y)}的局部二值化模式特征图像记为{LBP8,k(x,y)}；并采用局部二值化模式操作对每幅原始的无失真图像的1幅无方向信息图像进行处理，得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像，将{G0,k(x,y)}的局部二值化模式特征图像记为{LBP0,k(x,y)}；其中，LBP1,k(x,y)表示{LBP1,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP1,k(x,y)∈[0,P+1]，LBP2,k(x,y)表示{LBP2,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP2,k(x,y)∈[0,P+1]，LBP3,k(x,y)表示{LBP3,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP3,k(x,y)∈[0,P+1]，LBP4,k(x,y)表示{LBP4,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP4,k(x,y)∈[0,P+1]，LBP5,k(x,y)表示{LBP5,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP5,k(x,y)∈[0,P+1]，LBP6,k(x,y)表示{LBP6,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP6,k(x,y)∈[0,P+1]，LBP7,k(x,y)表示{LBP7,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP7,k(x,y)∈[0,P+1]，LBP8,k(x,y)表示{LBP8,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP8,k(x,y)∈[0,P+1]，LBP0,k(x,y)表示{LBP0,k(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP0,k(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；①_4、采用直方图统计方法对每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像进行统计操作，得到每幅原始的无失真图像的8幅方向信息图像各自的局部二值化模式特征图像的直方图统计特征向量，将{LBP1,k(x,y)}的直方图统计特征向量记为H1,k，将{LBP2,k(x,y)}的直方图统计特征向量记为H2,k，将{LBP3,k(x,y)}的直方图统计特征向量记为H3,k，将{LBP4,k(x,y)}的直方图统计特征向量记为H4,k，将{LBP5,k(x,y)}的直方图统计特征向量记为H5,k，将{LBP6,k(x,y)}的直方图统计特征向量记为H6,k，将{LBP7,k(x,y)}的直方图统计特征向量记为H7,k，将{LBP8,k(x,y)}的直方图统计特征向量记为H8,k；并采用直方图统计方法对每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像进行统计操作，得到每幅原始的无失真图像的无方向信息图像的局部二值化模式特征图像的直方图统计特征向量，将{LBP0,k(x,y)}的直方图统计特征向量记为H0,k；其中，H1,k、H2,k、H3,k、H4,k、H5,k、H6,k、H7,k、H8,k、H0,k的维数均为m'×1维，H1,k中的第m个元素为H1,k(m)，H2,k中的第m个元素为H2,k(m)，H3,k中的第m个元素为H3,k(m)，H4,k中的第m个元素为H4,k(m)，H5,k中的第m个元素为H5,k(m)，H6,k中的第m个元素为H6,k(m)，H7,k中的第m个元素为H7,k(m)，H8,k中的第m个元素为H8,k(m)，H0,k中的第m个元素为H0,k(m)，1≤m≤m'；①_5、将所有原始的无失真图像对应的直方图统计特征向量组成字典学习特征矩阵，记为Horg，其中，Horg的维数为9m'×K维，Horg中的第k列的9m'个元素依次为H1,k中的m'个元素、H2,k中的m'个元素、H3,k中的m'个元素、H4,k中的m'个元素、H5,k中的m'个元素、H6,k中的m'个元素、H7,k中的m'个元素、H8,k中的m'个元素、H0,k中的m'个元素；所述的测试阶段的具体步骤为：②_1、对于任意一幅尺寸大小与步骤①_1中选取的原始的无失真图像的尺寸大小一致的失真图像，将该失真图像作为待评价的失真图像，并记为{Ldis(x,y)}，其中，1≤x≤W,1≤y≤H，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_2、对{Ldis(x,y)}实施8个方向高斯函数偏导数滤波器的滤波，得到{Ldis(x,y)}的8幅方向信息图像，分别记为{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)}；并对{Ldis(x,y)}实施无方向拉普拉斯高斯滤波器的滤波，得到{Ldis(x,y)}的1幅无方向信息图像，记为{G0,dis(x,y)}；其中，G1,dis(x,y)表示{G1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G2,dis(x,y)表示{G2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G3,dis(x,y)表示{G3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G4,dis(x,y)表示{G4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G5,dis(x,y)表示{G5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G6,dis(x,y)表示{G6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G7,dis(x,y)表示{G7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G8,dis(x,y)表示{G8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，G0,dis(x,y)表示{G0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_3、采用局部二值化模式操作对{G1,dis(x,y)}、{G2,dis(x,y)}、{G3,dis(x,y)}、{G4,dis(x,y)}、{G5,dis(x,y)}、{G6,dis(x,y)}、{G7,dis(x,y)}和{G8,dis(x,y)}及{G0,dis(x,y)}分别进行处理，对应得到各自的局部二值化模式特征图像，将{G1,dis(x,y)}的局部二值化模式特征图像记为{LBP1,dis(x,y)}，将{G2,dis(x,y)}的局部二值化模式特征图像记为{LBP2,dis(x,y)}，将{G3,dis(x,y)}的局部二值化模式特征图像记为{LBP3,dis(x,y)}，将{G4,dis(x,y)}的局部二值化模式特征图像记为{LBP4,dis(x,y)}，将{G5,dis(x,y)}的局部二值化模式特征图像记为{LBP5,dis(x,y)}，将{G6,dis(x,y)}的局部二值化模式特征图像记为{LBP6,dis(x,y)}，将{G7,dis(x,y)}的局部二值化模式特征图像记为{LBP7,dis(x,y)}，将{G8,dis(x,y)}的局部二值化模式特征图像记为{LBP8,dis(x,y)}，将{G0,dis(x,y)}的局部二值化模式特征图像记为{LBP0,dis(x,y)}；其中，LBP1,dis(x,y)表示{LBP1,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP1,dis(x,y)∈[0,P+1]，LBP2,dis(x,y)表示{LBP2,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP2,dis(x,y)∈[0,P+1]，LBP3,dis(x,y)表示{LBP3,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP3,dis(x,y)∈[0,P+1]，LBP4,dis(x,y)表示{LBP4,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP4,dis(x,y)∈[0,P+1]，LBP5,dis(x,y)表示{LBP5,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP5,dis(x,y)∈[0,P+1]，LBP6,dis(x,y)表示{LBP6,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP6,dis(x,y)∈[0,P+1]，LBP7,dis(x,y)表示{LBP7,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP7,dis(x,y)∈[0,P+1]，LBP8,dis(x,y)表示{LBP8,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP8,dis(x,y)∈[0,P+1]，LBP0,dis(x,y)表示{LBP0,dis(x,y)}中坐标位置为(x,y)的像素点的像素值，LBP0,dis(x,y)∈[0,P+1]，P表示局部二值化模式操作中的领域参数；②_4、采用直方图统计方法对{LBP1,dis(x,y)}、{LBP2,dis(x,y)}、{LBP3,dis(x,y)}、{LBP4,dis(x,y)}、{LBP5,dis(x,y)}、{LBP6,dis(x,y)}、{LBP7,dis(x,y)}和{LBP8,dis(x,y)}及{LBP0,dis(x,y)}分别进行统计操作，对应得到各自的直方图统计特征向量，将{LBP1,dis(x,y)}的直方图统计特征向量记为H1,dis，将{LBP2,dis(x,y)}的直方图统计特征向量记为H2,dis，将{LBP3,dis(x,y)}的直方图统计特征向量记为H3,dis，将{LBP4,dis(x,y)}的直方图统计特征向量记为H4,dis，将{LBP5,dis(x,y)}的直方图统计特征向量记为H5,dis，将{LBP6,dis(x,y)}的直方图统计特征向量记为H6,dis，将{LBP7,dis(x,y)}的直方图统计特征向量记为H7,dis，将{LBP8,dis(x,y)}的直方图统计特征向量记为H8,dis，将{LBP0,dis(x,y)}的直方图统计特征向量记为H0,dis；其中，H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis的维数均为m'×1维，H1,dis中的第m个元素为H1,dis(m)，H2,dis中的第m个元素为H2,dis(m)，H3,dis中的第m个元素为H3,dis(m)，H4,dis中的第m个元素为H4,dis(m)，H5,dis中的第m个元素为H5,dis(m)，H6,dis中的第m个元素为H6,dis(m)，H7,dis中的第m个元素为H7,dis(m)，H8,dis中的第m个元素为H8,dis(m)，H0,dis中的第m个元素为H0,dis(m)，1≤m≤m'；②_5、将H1,dis、H2,dis、H3,dis、H4,dis、H5,dis、H6,dis、H7,dis、H8,dis、H0,dis组成{Ldis(x,y)}的特征向量，记为Hdis，其中，Hdis的维数为9m'×1维，Hdis中的9m'个元素依次为H1,dis中的m'个元素、H2,dis中的m'个元素、H3,dis中的m'个元素、H4,dis中的m'个元素、H5,dis中的m'个元素、H6,dis中的m'个元素、H7,dis中的m'个元素、H8,dis中的m'个元素、H0,dis中的m'个元素；②_6、根据Horg和Hdis，并利用稀疏算法，获取{Ldis(x,y)}的视觉感知稀疏特征向量，记为X，X＝((Horg)THorg+λ×I)‑1(Horg)THdis，其中，X的维数为K×1维，(Horg)T为Horg的转置矩阵，λ为常数，I为维数为K×K维的单位矩阵，((Horg)THorg+λ×I)‑1为((Horg)THorg+λ×I)的逆矩阵；②_7、采用n”幅宽度为W且高度为H的原始的无失真图像，建立其在不同失真类型不同失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观评分差值，将训练集中的第j幅失真图像的平均主观评分差值记为DMOSj；再按照步骤②_1至步骤②_6的操作，以相同的方式获取训练集中的每幅失真图像的视觉感知稀疏特征向量，将训练集中的第j幅失真图像的视觉感知稀疏特征向量记为Xj；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真图像的总幅数，0≤DMOSj≤100，Xj的维数为K×1维；②_8、利用支持向量回归对训练集中的所有失真图像各自的平均主观评分差值及视觉感知稀疏特征向量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，预测得到{L_dis(x,y)}的客观质量评价预测值，记为Q，Q＝f(y)，其中，Q是y的函数，f( )为函数表示形式，y为输入，y表示{L_dis(x,y)}的视觉感知稀疏特征向量X，(W^opt)^T为W^opt的转置矢量，为y的线性函数。