[发明专利]对图像进行美学评价的多特征融合方法

权利要求书

1.对图像进行美学评价的多特征融合方法，其特征在于：提取图像的色彩调和特征向量、颜色特征向量、构图特征向量、清晰度特征向量、纹理特征向量和DCT统计特征向量共六类特征向量，将提取的六类特征向量融合后利用SVM分类器将图像按美学分数高低分为两类，实现对图像进行美学评价，具体步骤如下：

第一步，输入彩色RGB图像I，并进行显著区域检测得到主体区域和背景区域：

通过USB接口向计算机输入彩色RGB图像I，大小为w×h×3像素，其中w为图像宽度，h为图像高度，不同图像的宽度w和高度h不同，采用阿里巴巴的Yang提出的基于图的流形排序显著性检测算法对输入彩色RGB图像I进行显著区域检测，得到显著区域，之后提取包含显著区域的最小外接矩形，得到主体区域I_f，其余为背景区域I_b，同时得到主体区域I_f的中心点O(O_x,O_y)；

第二步，彩色RGB图像I在不同颜色空间的特征向量提取：

(2.1)提取彩色RGB图像I在HSV、LAB和Munsell三个颜色空间的色彩调和特征向量：

这里分为以下三个阶段进行：

第一阶段，图像的分块：将上述第一步中主体区域I_f和背景区域I_b分别转换为HSV空间中的图像I_fh和I_bh，然后分别采用循环的方式进行分块，在进行分块时，每次分块的块数为N₁×N₁，进而计算每个子块的颜色信息熵值和像素个数，当子块的颜色信息熵的值小于阈值Tc或子块的像素个数小于阈值S时，不再进行分块，否则，继续进行分块；

第二阶段，确定子块的主颜色：将上述第一步中的彩色RGB图像I转换到LAB空间图像I_LAB进行SLIC超像素分割，得到超像素标签，并统计上述(2.1)步第一阶段中划分的各子块中超像素的标签，数量最多的超像素标签的超像素区域是该子块的主颜色区，即可得到该子块的主颜色；

第三阶段，计算色调特征向量nh和明度及彩度特征向量nvc，得到色彩调和特征向量：

将上述(2.1)步第一阶段得到的子块由HSV颜色空间转换到Munsell颜色空间，得到色调Hue、明度V和彩度C三个分量，分别提取色调特征值、明度与彩度合并的特征值，具体步骤如下：

首先，对上述(2.1)步第一阶段得到的每个子块进行色调分量Hue的特征值提取：将子块中的每个像素的色调分量值减去上述(2.1)步第二阶段中得到的该子块主颜色的色调分量值，得到该像素的色调差值H_S，根据Moon-Spencer色彩调和模型，确定色调差值H_S是否和谐，判断色调是否和谐的符号函数sgn公式如(1)所示：

统计与主色调和谐的像素个数，并将和谐的像素个数与当前子块总的像素个数的比作为此子块的色调分量Hue的特征值，具体公式如(2)所示：

h_i＝Numh_i/m_i,i＝1,...,Z (2)，

其中Numh_i为第i个图像子块内色调和谐的像素点的个数，m_i为该子块总的像素点的个数，当计算主体区域的色调分量Hue的特征值时，Z为主体区域的分块个数，当计算背景区域的色调分量Hue的特征值时，Z为背景区域的分块个数；

其次，对每个子块进行明度分量V和彩度分量C的特征值提取：对上述(2.1)步第一阶段得到的每个子块中的每个像素的明度值减去上述(2.1)步第二阶段中该子块主颜色的明度值得到明度差值V_S，子块中的每个像素的彩度值减去上述(2.1)步第二阶段中该子块主颜色的彩度值得到彩度差值C_S，将明度差值V_S及彩度差值C_S合并作为一个特征值根据Moon-Spencer色彩调和模型，判断明度及彩度是否和谐，公式如(3)所示：

其中，firE、secE和thirE分别是衡量像素与所属子块主颜色的明度差值V_S及彩度差值C_S是否落在Munsell颜色空间中三个椭圆区域内的度量值，当sgn(V_S,C_S)值为1时，表明当前像素点的明度及彩度和谐，统计子块i中明度及彩度和谐的像素点的个数Numvc_i，计算其与子块i总的像素点的个数m_i的比值，得到子块i的明度及彩度的特征值vc_i，

vc_i＝Numvc_i/m_i,i＝1,...,Z (4)，

最后，计算所有子块的色调特征值组合得到整个图像的色调特征向量h＝[h₁,h₂,..,h_Z]，并计算所有子块的明度及彩度特征值组合得到整个图像的明度及彩度特征向量vc＝[vc₁,vc₂,…,vc_Z]，然后把得到的色调特征向量h、明度及彩度特征向量vc分别归一化到[0,1]区间，并将该区间进行R等分，根据落在每个子区间的色调特征值和明度及彩度特征值个数得到色调特征向量nh和明度及彩度特征向量nvc，如公式(5)、(6)所示，

nh＝{Nh₁,Nh₂,...,Nh_R} (5)，

nvc＝{Nvc₁,Nvc₂,...,Nvc_R} (6)，

其中，Nh_i为色调特征值在第i个子区间的数量，Nvc_i为明度及彩度特征值在第i个子区间的数量，i＝1,2,…,R，这里R取10；

色调特征向量nh和明度及彩度特征向量nvc合称为色调调和特征向量，由此完成提取图像在Munsell颜色空间的色彩调和特征向量的提取；

(2.2)提取彩色RGB图像I的构图特征向量：

对上述第一步中的彩色RGB图像I同时采用以下两个构图准则提取构图特征向量：

第一个构图准则是三分法则，步骤是：将上述第一步中彩色RGB图像I的宽度w和高度h均分为三等分，得到四个交叉点(x_j，y_j)，根据上述第一步得到的主体区域I_f的中心点O(O_x,O_y)，计算中心点O到三分法则的四个交叉点(x_j，y_j)最近的归一化欧式距离d，j＝1,2,3,4，具体公式如(7)所示：

第二个构图准则是主体区域大小与整个图像大小的比，步骤是：根据上述第一步得到的彩色RGB图像I和主体区域I_f，计算主体区域I_f像素点的个数与整个彩色RGB图像I像素点的个数比ratio，具体如公式(8)，

ratio＝num/(w×h) (8)，

其中，num为主体区域总像素点的个数；

由上述两个构图准则得到的中心点到四个交叉点最近的归一化欧式距离和主体区域与整个彩色RGB图像像素点的个数比组成构图特征向量，由此完成构图特征向量的提取；

(2.3)提取彩色RGB图像I在HSV空间的颜色特征向量：

从两方面来提取彩色RGB图像I的颜色特征向量：

第一个方面是提取颜色矩特征向量，将上述第一步中彩色RGB图像I转换到HSV颜色空间的图像I_hsv，在H、S和V三个通道上，分别计算一阶矩μ、二阶矩σ和三阶矩ε，计算公式如下式(9)所示：

其中，p_j,k为第j个像素点在第k个通道上的分量，k＝1,2,3分别代表H、S、V分量，由H、S和V三个通道上的一阶矩、二阶矩和三阶矩组成颜色矩特征向量，由此提取得到彩色RGB图像I在HSV空间的颜色矩特征向量；

第二个方面是提取主体和背景的颜色差异特征向量，对上述第一步中的彩色RGB图像I的主体区域I_f和背景区域I_b分别在R、G、B三个通道上，统计颜色直方图，直方图分为L级，L＝256，根据公式(10)来衡量主体和背景的差异diff_c，

其中，f_l,c、b_l,c分别为主体区域和背景区域在第c个通道上第l级颜色直方图的大小，c＝1,2,3分别代表R、G、B分量，由R、G、B三个通道的主体和背景的差异组成主体和背景的颜色差异特征向量，由此提取得到主体和背景的颜色差异特征向量；

由上述的颜色矩特征向量和颜色差异特征向量构成彩色RGB图像I在HSV空间的颜色特征向量，由此完成彩色RGB图像I的颜色特征向量的提取；

(2.4)提取彩色RGB图像I转换为灰度图像I_gray后的清晰度特征向量：

将上述第一步中的彩色RGB图像I转换为灰度图像I_gray，其中的主体区域转换为灰度图像后标注为I_fgray，然后将二者分别进行快速傅里叶变换，用公式(11)计算傅里叶变换后的FFT(I_gray)和傅里叶变换后的主体区域的FFT(I_fgray)中大于等于阈值T的像素点个数与所计算区域总的像素点的个数比值，得到灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f，

其中，T＝8为阈值，n_gray为灰度图像I_gray中大于等于阈值T的像素点的个数，n_f为主体区域的灰度图I_fgray中大于等于阈值T的像素点的个数，num为主体区域总的像素点的个数，由灰度图像I_gray的清晰度特征值De_gray和主体区域的灰度图I_fgray的清晰度特征值De_f组成灰度图像的清晰度特征向量，由此提取得到灰度图像的清晰度特征向量；

(2.5)提取彩色RGB图像I转换为灰度图像I_gray后的纹理特征向量：

将上述第一步中的彩色RGB图像I转为灰度图像I_gray，然后从基于Tamura纹理的特征和基于可控金字塔特征两个方面来提取其纹理特征，得到灰度图像I_gray的基于Tamura纹理的粗糙度特征值、对比度特征值和方向度特征值三个基于Tamura纹理的纹理特征值，以及灰度图像I_gray的子带能量向量Ee，尺度间子带的能量差向量Ec以及子带系数熵向量Ep三个基于可控金字塔纹理特征共同构成图像的纹理特征向量，由此完成提取纹理特征向量；

(2.6)提取彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量：

将上述第一步得到的彩色RGB图像I转为灰度图像I_gray，对灰度图像I_gray进行一次高斯滤波且经过下采样，得到宽和高各为灰度图像I_gray的1/2的图像I_gauss1，将得到的图像I_gauss1再进行一次高斯滤波且经过下采样，得到宽和高各为I_gray的1/4的图像I_gauss2，然后将得到的灰度图像I_gray、图像I_gauss1和图像I_gauss2都均分成像素大小为N₂×N₂的子块，然后对每个子块进行DCT变换，舍弃每个子块的直流系数，保留非直流系数，采用广义高斯模型来模拟DCT系数分布，采用灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1、图像I_gauss2均值μ_gauss2、灰度图像I_gray平均方差图像I_gauss1平均方差图像I_gauss2平均方差灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2作为美学度量的特征，具体公式如(12)-(17)所示：

1)计算灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的均值μ_gray,r、μ_gauss1,r和μ_gauss2,r，如下式(12)所示：

其中，d_gray,r,c、d_gauss1,r,c、d_gauss2,r,c分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r个子块中经过DCT变换后的系数，

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的均值μ_gray、μ_gauss1和μ_gauss2，如下式(13)所示：

其中，Z_gray、Z_gauss1、Z_gauss2分别为灰度图像I_gray、图像I_gauss1和图像I_gauss2的子块数量，由此得到灰度图像I_gray均值μ_gray、图像I_gauss1均值μ_gauss1和图像I_gauss2均值μ_gauss2；

2)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的平均方差和

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2中第r子块的方差和如下式(14)所示：

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和如下式(15)所示：

由此得到灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的平均方差和

3)分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2：

首先，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2的第r个子块的形状参数γ_gray,r、γ_gauss1,r和γ_gauss2,r的估计和如下式(16)，

其中，R(x)＝Γ²(2/x)/(Γ(1/x)×Γ(3/x))；

然后，分别计算灰度图像I_gray、图像I_gauss1和图像I_gauss2所有子块的形状参数和的均值即灰度图像I_gray、图像I_gauss1和图像I_gauss2的形状参数γ_gray、γ_gauss1和γ_gauss2，如下式(17)所示：

由此得到灰度图像I_gray形状参数γ_gray、图像I_gauss1形状参数γ_gauss1和图像I_gauss2形状参数γ_gauss2；

综合(2.6)步中的1)、2)和3)步，完成彩色RGB图像I转换为灰度图像I_gray后的DCT统计特征向量的提取；

第三步，使用支持向量机对图像进行高低美感的分类：

将第二步得到的所有特征串联起来，输入核函数为RBF的支持向量机，进行训练，在本专利中，参数s为0、t为2、c和g采用五折交叉验证法选取最佳值，得到图像美学分类模型，利用此分类模型将输入的图像分为高、低美感两类，至此实现对图像进行美学评价。