[发明专利]一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法

摘要

本发明公开了一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，使用传统的局部二值模式特征、局部方向数特征等与深度神经网络特征分别训练人脸表情分类器，然后利用这些分类器投票，进行人脸表情识别。该表情识别方法使用了近年来流行的深度学习方法，收集大量人脸表情数据解决训练神经网络困难的问题，使用了一个简单卷积神经网络提取深度特征，并创新地与人脸关键点区域的传统生物特征进行融合，进行人脸表情的识别。本发明主要有人脸表情数据预处理、人脸区域检测、人脸表情特征提取、人脸表情分类器训练等步骤。使用该表情识别方法得到的识别率，相比只使用传统特征表情识别方法的识别率提升1％‑2％。

主权项

一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，其特征在于，收集大量表情数据训练深度神经网络提取低维的全局深度特征，并结合使用高维的关键点周围局部区域传统生物特征，进行多特征融合分类识别，该方法包括以下步骤：(1)人脸表情数据预处理：从网上下载公开的人脸表情数据集，或者通过网络爬虫收集非公开的人脸表情数据；将表情数据分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0‑6做好标签，然后把图像灰度化；(2)人脸区域检测：使用dlib库中人脸关键点检测算法对人脸表情数据进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个人脸关键点获取人脸区域；将人脸全局区域校准归一化为固定大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴特征；(3)人脸表情特征提取：提取传统表情特征：局部二值模式(LBP)特征、局部方向数(LDN)特征和曲波特征；所述LBP特征定义在图像3×3像素邻域内，将邻域中心像素值作为阈值，分别将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3×3邻域内的像素点经比较产生8位二进制数，即得到该邻域中心像素点的LBP编码值，并用这个值来反映该区域的纹理信息；对图像的LBP编码值进行直方图统计，得到相应的LBP特征向量，每个样本的特征向量为1×256维；所述LDN特征通过Kirsch边缘模板计算得到；Kirsch边缘模板包括8个方向，在图像3×3像素邻域内，利用Kirsch边缘模板计算得到8个方向的边缘响应值{m0,…,m7}，然后在8个响应值中找出最大值的位置编号i和最小值的位值编号j，即：i＝argmax{mi|0≤i≤7}j＝argmin{mj|0≤i≤7}则像素点的LDN响应值为i×8+j；对图像的LDN值进行直方图统计，得到相应的LDN特征向量，每个样本的特征向量为1×64维；所述曲波特征描述了人脸表情图像曲线轮廓，直接利用Curvlab开源库得到系数特征；根据步骤(2)，获取收集的人脸表情数据集的人脸全局区域，训练一个深度神经网络来获取深度学习特征；所述深度学习特征是指把表情图像输入到训练好的神经网络，得到的卷积层或者全连接层的向量值；(4)人脸表情分类器训练：使用了k近邻算法，主要步骤如下：(a)计算特征距离：输入表情特征，计算它与训练集中的每个表情特征的欧式距离；(b)寻找最近距离：找出距离最近的k个训练数据特征，作为输入表情的近邻；(c)进行表情分类：根据这个k个近邻的类别，对输入表情进行分类；对于输入表情的3种传统特征和1种深度特征，都能得到一个分类结果，然后将所有特征得到的分类结果进行投票，选取结果中最多的标签作为输入表情的标签，得到最终的表情分类结果。