[发明专利]对人体面部微笑表情深度卷积神经网络的检测方法

摘要

一种对人体面部微笑表情深度卷积神经网络的检测方法，由训练步骤和测试步骤组成。训练步骤为：对训练样本图像进行预处理、训练卷积神经网、训练支持向量机分类器步骤；测试步骤为：对测试样本图像进行预处理，用预处理后的测试样本输入到卷积神经网络中提取测试样本的多尺度特征，将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。本发明从大量样本图像中自动地提取微笑特征，避免了人工设计特征的复杂性和片面性，再利用支持向量机分类器进行微笑检测，提高了检测的准确率，可用于新产品用户体验评价、服务人员微笑服务评价、相机微笑快门控制及照片选择等。

主权项

1.一种对人体面部微笑表情深度卷积神经网络的检测方法，它是由训练步骤和测试步骤组成，所述的训练步骤为：(1)对训练样本图像进行预处理包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：I＝Wr×R+Wg×G+Wb×B  (1)式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重；嘴巴子图定位：用左眼、右眼、左嘴角、右嘴角、鼻子五个关键点横坐标的平均值作为中心点的横坐标x，用左眼、右眼、左嘴角、右嘴角、鼻子五个关键点纵坐标的平均值作为中心点的纵坐标y，用欧式距离或曼哈顿距离或棋盘距离计算五个关键点到中心点的距离；计算上述五个距离的最大距离D或平均距离D或最小距离D，以((x‑(0.75～0.77)D),y)为左上角，裁剪成宽为(1.5～1.58)D、高为(1.7～1.78)D的矩形，得到嘴巴子图；嘴巴子图大小归一化：将上述嘴巴子图用双三次插值法或B样条插值法或三次样条插值法或等距插值法或四次样条插值法或拉格朗日插值法，归一化为32×32嘴巴子图，像素总个数为322；对嘴巴子图进行亮度调节：采用自适应亮度调节法或分段线性拉伸法或直方图均衡化算法，获得亮度调节后的嘴巴子图；自适应亮度调节法，用(4)式计算32×32嘴巴子图的直方图h(x)累加和与像素总个数的比值cdf(x)：式中x∈[0,255]，在cdf(x)中寻找第一个大于0.01的索引值ilow和第一个大于0.99的索引值ihigh；用(5)式得到亮度范围[low,high]：low＝(ilow‑1)/255,high＝(ihigh‑1)/255  (5)用(6)式计算调节后的亮度值JJ＝(tmp‑low)/(high‑low)  (6)式中tmp＝max(low,min(high,I))，I为灰度化后的亮度，得到32×32标准嘴巴图像；(2)训练卷积神经网络将训练样本预处理后得到的32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和训练样本的多尺度特征，所述的卷积神经网络的结构为：输入层是32×32的标准嘴巴图像；C1层是第一个卷积层，有10个28×28的特征图，每个特征图中的1个像素点与输入层的1个5×5区域相连接，共(5×5+1)×10＝260个训练参数；S2层是下2采样层，有10个14×14特征图，每个特征图中的1个像素点与C1层相应特征图的1个2×2区域相连接，共1×10个偏置参数；C3层是第二个卷积层，有12个10×10的特征图，每个特征图中的1个像素点与S2层相应的1个5×5区域相连接，共(5×5+1)×10×12＝3120个参数；S4层为第二个下2采样层，有12个5×5的特征图，共1×12个偏置参数；F5层是S4中12个5×5的特征图以列序为主序依次排列生成的1个300维的多尺度特征；输出层由2个结点1和0组成，F5层与输出层之间全连接，共300×2＝600个参数；该深度卷积神经网络共260+10+3120+12+600＝4002个参数，通过前向传播和反向传播反复循环至达到设定的最大迭代次数，确定网络参数；(3)训练支持向量机分类器把多尺度特征输入支持向量机，支持向量机根据多尺度特征寻找最优分类超平面，得到支持向量机分类器，该分类器的输出是1或0，1为微笑，0为不微笑；所述的测试步骤为：(1)对测试样本图像进行预处理测试样本图像的预处理与对训练样本图像进行预处理步骤(1)相同；(2)用预处理后的测试样本输入到卷积神经网络中，提取测试样本的多尺度特征；(3)将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。