[发明专利]一种基于融合特征的旗袍图像情感语义识别方法

摘要

本发明公开一种基于融合特征的旗袍图像情感语义识别方法。该方法通过选择具有代表性的适合描述旗袍图像的形容词，提取旗袍图像的颜色和纹理特征，进行特征融合，然后进行图像情感语义学习，用训练出来的情感模型对图像进行情感识别。本发明方法结合颜色和纹理的融合特征，用机器学习方法建立起从旗袍图像底层特征到高层语义的情感语义的映射，构建了旗袍图像情感语义分类模型，实现了对旗袍图像的情感识别。该方法易于实现，具有较高的情感识别准确率。

主权项

一种基于融合特征的旗袍图像情感语义识别方法，其特征在于该方法包括以下步骤：步骤一.形容词选择及情感数据收集：1.1从30个针对服装图片的形容词中，选出其中具有代表性的一组形容词(古朴沉稳、高贵典雅、温婉浪漫、素净清新)来描述旗袍；1.2收集n张旗袍图片，图片均为纯色背景；1.3将步骤1.2中的图片分组，采用步骤1.1形容词组分别用1,2,3,4表示，其中1表示“古朴沉稳”服装，2表示“高贵典雅”服装，3表示“温婉浪漫”服装，4表示“素净清新”服装；将共同被评价的旗袍图片挑选出来，而去除其中风格模糊不清的图片，由此，每张图片分别对应了一种情感，得到最终的情感数据Q，其中Q为一组m×1的数据，其中m≤n；步骤二.图像预处理：2.1对图像进行特征提取前,首先将步骤1.3中保存的图像进行图像缩放变换，得到尺寸为W×H的图像，其中图像缩放变换采用双三次插值方法，采用双三次内插基函数作为基函数，双三次插值计算按公式(1)进行：f(i+u,j+v)＝ABC             (1)其中，A、B、C均为矩阵，形式如下：A＝[s(v+1) s(v) s(1‑v) s(2‑v)]，B=f(i-1,j-1)f(i-1,j)f(i-1,j+1)f(i-1,j+2)f(i,j-1)f(i,j)f(i,j+1)f(i,j+2)f(i+1,j-1)f(i+1,j)f(i+1,j+1)f(i+1,j+2)f(i+2,j-1)f(i+2,j)f(i+2,j+1)f(i+2,j+2),]]>C=s(u+1)s(u)s(1-u)s(2-u),]]>s(x)=1-2|x|2+|x|30≤|x|<14-8|x|+5|x|2-|x|31≤|x|<20|x|≥2]]>(i,j):原图像的像素坐标，其中，i为横坐标值，j为纵坐标值，i、j均为非负整数；f(i,j):原图像的像素灰度值；u：目的像素的周围像素沿横坐标方向离目的像素的距离；v：目的像素的周围像素沿纵坐标方向离目的像素的距离；(i+u,j+v):缩放变换后新图像的像素坐标；f(i+u,j+v):缩放变换后新图像的像素灰度值；|x|：图像像素沿x方向离原点的距离；s(x)：sin(π·x)/x的逼近多项式，为插值核；2.2将步骤2.1中得到的图像进行中值滤波处理，得到去噪图像；中值滤波对图像去噪按公式(1)，如下：Input:输入图片I；Output:去噪后图像；a)将图像的R,G,B三通道分离；b)对每个通道中的每个像素，把其邻域中的像素按灰度级进行排序，选择该组的中间值作为这个像素的输出值，通常选择3×3窗口大小的邻域；c)将计算中值后的三个通道整合，输出去噪后图像；2.3将步骤2.2中得到的去噪后图像进行图像灰度化处理，得到灰度图像，其中对图像灰度化处理按公式(2)进行：Gray=RGB0.2990.5870.114---(2)]]>公式(2)中，R、G、B：分别为图像每个像素对应的红、绿、蓝颜色值；Gray：图像灰度化后得到的每个像素点的灰度值；2.4将步骤2.3中得到的灰度图像进行图像分割，用形态学重建技术对将图像中旗袍部分和背景进行分离，得到图像中旗袍内容部分的索引信息；用形态学重建技术对图像分割按公式(2)，如下：Input:输入图片I；Output:[r,c]索引值矩阵，即旗袍内容位置值，其中r为行索引值,c为列索引值；d)设定椭圆形结构元素对象，半径20，高度15；e)对图像用结构元素对象进行腐蚀和膨胀操作，进行形态学重建；f)对图像求反，然后转化为二值图像；g)输出二值化图像中零元素的行和列的索引值；步骤三.颜色特征提取：所述的颜色特征包括明度隶属度、饱和度隶属度、冷暖隶属度、彩色对比度；3.1将步骤2.2生成的图像从RGB转化到L*a*b*色彩空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的a*和b*值，即图像分割出来部分的a*和b*值；然后将图像从Lab空间转化到L*C*h*空间，根据步骤2.4中计算出的索引值计算出图像中旗袍内容的L*、C*、h*的值，即图像分割出来部分的L*、C*、h*的值；其中对图像从RGB到L*a*b*色彩空间的转化按公式(3)进行：L*＝116f(Y/Yn)‑16a*＝500[f(X/Xn)‑f(Y/Yn)]b*＝200[f(Y/Yn)‑f(Z/Zn)]     (3)其中，L*，a*，b*：L*a*b*色彩空间三个通道的值，L*为明度；a*为红绿色轴，+a*表示品红色，‑a*表示绿色；b*为黄蓝色轴，+b*表示黄色，‑b*表示蓝色；X,Y,Z：RGB转XYZ空间计算出的值；Xn,Yn,Zn：一般默认值为95.047,100.0,108.883；对图像从L*a*b*到L*C*h*色彩空间的转化按公式(4)进行：C*＝(a*2+b*2)1/2h*＝arctan(b*/a*)         (4)其中C*代表饱和度(Chroma)，表示颜色的深浅程度；h*代表色相(Hue)角度，表示不同颜色；3.2根据步骤3.1中得到的L*通道的值计算图像的平均明度隶属度值，用“很暗的”、“较暗的”、“中亮的”、“较亮的”、“很亮的”五个词汇来描述明度特征；首先计算每个像素点的明度隶属度，然后对所有像素点的明度隶属度求均值，得到图像的平均明度隶属度值，其中明度隶属度值计算按公式(5)进行:其中，L*为图像中每个像素点的明度值，μ亮度为图像中每个像素点的明度隶属度值；3.3根据步骤3.1中得到的C*通道的值计算图像的平均饱和度隶属度值，用“低饱和度”、“中饱和度”、“高饱和度”三个词汇来描述饱和度特征；首先计算每个像素点的饱和度隶属度，然后对所有像素点的饱和度隶属度求均值，得到图像的平均饱和度隶属度值，其中饱和度隶属度值计算按公式(6)进行:其中，C*为图像中每个像素点的饱和度值，μ饱和度为图像像素点的饱和度隶属度值；3.4根据步骤3.1中得到的h*通道的值计算图像的平均色调冷暖隶属度值，冷暖隶属度值计算按公式(7)进行:其中，h为图像像素点的色相角h*经过弧度换角度转化后的角度值，μ冷暖为图像像素点的冷暖隶属度值；3.5将步骤3.1中计算得到的a*、b*值计算图像的彩色对比度，彩色对比度计算按公式(8)进行:L*a*b*_contrast=[1N-1Σi=1N(ai*-a*-)2+(bi*-b*-)2]1/2---(8)]]>其中ai*，bi*表示图像的第i个像素点在L*a*b*色彩空间的a*、b*值，表示整幅图像的a*、b*均值，N为图像的像素点总数；步骤四.纹理特征提取：4.1将步骤2.3中得到的灰度图像用LBP算子进行计算，得到图像的全局LBP直方图数据，其中LBP直方图数据按公式(3)计算，如下：Input:输入图片I；Output:1×18的LBP直方图数据；a)把I分割成M块；b)设定圆形窗口对称邻域的大小为：P＝16，R＝2；根据式(9)，计算每个块的LBP直方图值；LBPP,R=Σp=0p-1s(gp-gc)2p---(9)]]>P：圆形对称邻域除中心点外的像素点个数；R：圆形对称邻域半径；gc：圆形对称邻域的中心点像素值；gp：gp＝(p＝0,...,p‑1)为圆形对称邻域的其他点像素值；c)把M个块得到的LBP值组合起来得到描述图像特征的全局LBP值，输出；步骤五.颜色特征和纹理特征融合：将步骤三和步骤四中提取的颜色和纹理特征进行加权特征融合；其加权特征表达式(10)如下：其中ω1，ω2∈[0,1]，则加权特征融合后的特征向量的表达式为：P＝{P1，P2}步骤六.情感语义学习：6.1从步骤1.3中得到的情感数据Q和步骤5.2中得到的融合特征数据P中，抽取各个类别的数据共个样本，作为以径向基函数为核函数的LSSVM分类学习算法的学习样本，剩余样本作为检验样本；以RBF为核函数的LSSVM分类模型结构为：w~Tψ(x)+α=0]]>其中：ψ(x)为非线性映射函数，为该模型的法向向量，α为该模型的偏差值，T为转置符号；对样本数据的准确分类问题可转化为求解如下目标函数(11):min[12·w~Tw~+12·ϵ·Σinμi2],1≤i≤ns.t.yi=w~Tψ(xi)+α+μi---(11)]]>式(11)中的目标函数最终可以转化成如下表达式(12)：ψ′(x)=sgn[Σi=1nβi·yi·K(x,xi)+α],(1≤i≤n)---(12)]]>其中：ε：正则化参数；μi：松弛变量值；sgn()：符号函数，其取值为‑1或1；βi：拉格朗日算子；x：模式向量；xi,yi：分别为学习样本中第i个的输入向量和输出向量；α：模型的偏差值；K(x,yi)：径向基核函数，即RBF核函数；σ2：RBF核的核参数；6.2将步骤6.2中所有的样本数据进行归一化处理，归一化处理按照公式(12)进行:y＝(ymax‑ymin)(x‑xmin)/(xmax‑xmin)+ymin      (12)x：预处理的数据；xmin，xmax：分别为预处理数据中的最小值和最大值；y：归一化后的数据；ymin，ymax：分别为期望的每一行的最小值和最大值，一般为0和1；6.3将步骤6.1中LSSVM模型进行模型参数初始化，设置Type，kernel，preprocess、L_flod和codefct的值；6.4将步骤6.3初始化参数之后的模型进行参数ε和参数σ的寻优处理，正则化参数ε和核参数σ对模型的预测精度和复杂度都有很大的影响；用LSSVM1.8版本工具箱中的tunelssvm函数进行网格搜索和交叉验证优化参数；然后初始化模型，进行模型训练；6.5将步骤6.4中训练好的模型用来识别步骤6.2中归一化后的检验样本的情感语义，通过将检验样本的情感识别结果和其原始人工注释的结果进行比较，计算识别的准确率。