[发明专利]基于多尺度的无参考屏幕内容图像质量评估方法

权利要求书

1.一种基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：

步骤S1：将失真图像从RGB颜色空间转换到LMN颜色空间，并利用bicubic算法对L分量进行放大，利用Gabor滤波器的虚部在放大后的L分量上提取失真图像的边缘特征；

步骤S2：利用bicubic算法对失真图像的灰度图进行放大，并利用Scharr滤波器和局部二值模式在放大后的灰度图上提取失真图像的结构特征；

步骤S3：利用局部归一化算法在放大后的灰度图上提取失真图像的亮度特征；

步骤S4：将得到的输入图像的边缘特征、结构特征和亮度特征作为训练数据，利用随机森林回归训练图像质量评估模型；

步骤S5：根据步骤S1-S3，获取待测图像的边缘特征、结构特征和亮度特征，并利用训练好的图像质量评估模型预测待测图像的质量分数；

所述步骤S1具体为：

步骤S11：将失真图像转换为double数据类型，然后将所述失真图像从RGB颜色空间转换到LMN颜色空间，两种颜色空间进行转换的公式如下：

其中，下标i表示所述失真图像中像素的位置索引，L_i、M_i、N_i分别是像素i的L、M、N三个颜色通道的值，R_i、G_i、B_i分别是像素i的R、G、B三个颜色通道的值；

接着利用bicubic算法对L分量进行放大两倍处理，将放大后的L分量记为L′；

步骤S12：计算得到水平方向的Gabor滤波器的虚部和垂直方向的Gabor滤波器的虚部，计算公式如下：

其中，θ为方向，a、b、为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为g_h(x,y)，失真图像所有像素的g_h(x,y)组成g_h，是水平方向的Gabor滤波器虚部；θ为时，计算得到的g(x,y)记为g_v(x,y),失真图像所有像素的g_v(x,y)组成g_v，是垂直方向的Gabor滤波器虚部；

步骤S13：利用步骤S12得到的两个Gabor滤波器的虚部分别与步骤S11中得到的放大后的L分量L′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：

e＝e_h+e_v

其中，表示卷积运算，g_h和g_v分别表示水平方向和垂直方向的Gabor滤波器虚部，e_h和e_v分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；

步骤S14：利用频率分布直方图对步骤S13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f₁,f₂,...,f₁₀}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，M表示最终的所述失真图像的边缘图中的像素个数，e_i表示最终的所述失真图像的边缘图中第i个像素的值，Q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的；

步骤S15:将得到的所述失真图像的边缘特征集记为F_e＝{f₁,f₂,...,f₁₀}；

所述步骤S2具体为：

步骤S21:将失真图像转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；

步骤S22：利用两个Scharr滤波器分别与步骤S21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：

其中，p表示放大后的灰度图，s_h和s_v分别表示水平和垂直方向的Scharr滤波器，t_h和t_v分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；

步骤S23：将旋转不变等价LBP算子作用于步骤S22中得到的梯度图t上，得到梯度图t的LBP图，旋转不变等价LBP算子的表达式如下：

其中，R表示圆形区域的半径，I表示半径为R的圆形区域边上采样点的个数，t_c和t_i分别表示中心像素的梯度值以及其半径为R的圆形区域边上采样点的梯度值，θ表示LBP模式的二进制值中0-1跳变的次数，LBP_I,R表示旋转不变LBP算子，LBP′_I,R表示旋转不变等价LBP算子；

步骤S24：累加放大后的灰度图的最终梯度图中具有相同LBP模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：

其中，N表示最终梯度图中的像素个数；k∈[0,K]表示LBP模式有k种，K＝I+1；t_j表示最终梯度图中第j个像素的梯度值，作为该像素对应LBP模式的权值；

所述步骤S3具体为：

步骤S31：利用局部归一化算法在步骤S21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：

其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，S′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的S′(i,j)组成的S′是图p的亮度图，i∈{1,2,..,W}和j∈{1,2,..,Y}表示像素点的空间位置，W和Y分别表示图p的长度和宽度；C是一个常数，防止分母为0；μ_p(i,j)和σ_p(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：

其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}，U和V分别表示局部归一化过程中窗口长度和宽度；

步骤S32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤S31中得到的亮度图S′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：

M_H(i,j)＝S′(i,j)S′(i,j+1)

M_D1(i,j)＝S′(i,j)S′(i+1,j+1)

M_V(i,j)＝S′(i,j)S′(i+1,j)

M_D2(i,j)＝S′(i,j)S′(i+1,j-1)

其中，(i,j)表示像素点在图像中的位置，M_H(i,j)表示图S′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的M_H(i,j)值组成亮度图M_H；M_D1(i,j)表示图S′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的M_D1(i,j)值组成亮度图M_D1；M_V(i,j)表示图S′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的M_V(i,j)值组成亮度图M_V；M_D2(i,j)表示图S′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图S′中所有像素点的M_V(i,j)值组成亮度图M_D2；

步骤S33：利用频率分布直方图对步骤S31和步骤S32中得到的亮度图S′、M_H、M_D1、M_V和M_D2分别进行统计，直方图分组个数设置为10，分别用一个10维向量{z₁,z₂,...,z₁₀}来表示每幅亮度图的亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，M表示步骤S32和步骤S33中得到的亮度图S′、M_H、M_D1、M_V和M_D2的像素个数，B∈{S′,M_H,M_D1,M_V,M_D2}，B_i表示亮度图中第i个像素，R(n)表示直方图中第n个分组的取值范围；

步骤S34:将亮度图S′的亮度特征集记为z^s，将亮度图M_H的亮度特征集记为z^h，将亮度图M_D1的亮度特征集记为z^d1，将亮度图M_V的亮度特征集记为z^v，将亮度图M_D2的亮度特征集记为z^d2，所述失真图像的亮度特征集F_l＝{z^s,z^h,z^d1,z^v,z^d2}。

2.根据权利要求1所述的基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S4具体为：

步骤S41：将步骤S1、步骤S2和步骤S3中得到的边缘特征集F_e、结构特征集F_s和亮度特征集F_l组合起来，得到失真图的特征集F1＝{F_e,F_s,F_l}；

步骤S42：将输入的失真图像缩小为0.8倍，利用步骤S1-S3中的方法得到失真图的特征集F2＝{F_e′,F_s′,F_l′}；

步骤S43：将输入的失真图像缩小为0.64倍，利用步骤S1-S3中的方法得到失真图的特征集F3＝{F_e″,F_s″,F_l″}；

步骤S44：将输入的失真图像缩小为0.512倍，利用步骤S1-S3中的方法得到失真图的特征集F4＝{F_e″′,F_s″′,F_l″′}；

步骤S45：综合步骤S41-S44，得到输入的失真图像的最终特征集F＝{F1,F2,F3,F4}，然后将这个最终的特征集F放入随机森林回归中训练，得到图像质量预测模型。

步骤S5：根据步骤S1-S3，从4个尺度上提取待测图像的3种特征，利用训练好的模型预测待测图像的质量分数。