[发明专利]一种基于三分支卷积神经网络的表情识别方法

权利要求书

1.一种基于三分支卷积神经网络的表情识别方法，其特征在于，包括：

S1：通过人脸检测算法分别获取表情图像的面部区域图像、眼眉区域图像和嘴巴区域图像后进行图像数据增强；

S2：基于LeNet-5卷积神经网络，建立三分支卷积神经网络，包括面部卷积神经网络、眼眉卷积神经网络和嘴巴卷积神经网络，将增强后的面部区域图像送入大于均值阈值R_m的卷积核控制的面部卷积神经网络训练，将增强后的眼眉区域图像送入大于方差阈值R_s的卷积核控制的眼眉卷积神经网络训练，将增强后的嘴巴区域图像送入大于方差阈值R_s的卷积核控制的嘴巴卷积神经网络训练，其中，所述三分支卷积神经网络中的卷积层对输入的表情图像进行特征提取；

S3：得到所述三分支卷积神经网络训练后输出层的输出特征，对所述输出特征采用三分支融合技术得到最终输出特征，将所述最终输出特征送入SoftMax分类器中进行分类，得到分类结果。

2.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，三分支卷积神经网络的每条卷积神经网络均由一个输入层、两个卷积层和两个池化层构成：

面部卷积神经网络的输入层是28×28的人脸区域像素矩阵，眼眉卷积神经网络的输入层是24×60的眼眉区域像素矩阵，嘴巴卷积神经网络的输入层是24×28的嘴巴区域像素矩阵；

第一层卷积层采用6个5×5的卷积核进行卷积操作后获得6个24×24，20×56，20×24的卷积特征图，第二层池化层使用2×2的滑动窗口进行最大池化后获得6个12×12，10×28，10×12的下采样特征图，第三层卷积层采用16个5×5的卷积核进行卷积操作后获得16个8×8，6×24，6×8的卷积特征图，第四层池化层使用2×2的滑动窗口进行最大池化后获得16个4×4，3×12，3×4的下采样特征图。

3.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，在步骤S1之前，还包括：

获取面部表情图像数据集后对表情图像数据进行预处理。

4.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，步骤S2中，卷积层对输入的表情图像进行深度提取：

式中，表示第l层的第m个特征图，表示l层图像中卷积区域M中的元素，W^l表示第l层的卷积核中的元素，b^l表示第l层的偏置项，f(·)表示Rectified Linear Units激活函数。

5.根据权利要求3所述的基于三分支卷积神经网络的表情识别方法，其特征在于，获取面部表情图像数据集的方法包括行车记录仪采集驾驶员的面部表情，或者是驾驶员通过穿戴能够记录驾驶员面部表情以及驾驶姿态变化的设备识别自身表情。

6.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，步骤S1中，将所述面部区域图像、所述眼眉区域图像和所述嘴巴区域图像通过随机水平翻转、亮度调节变化和椒盐噪声随机添加进行数据增强。

7.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，步骤S2中，面部卷积神经网络通过控制卷积核的均值，利用均值大于均值阈值R_m的卷积核提取面部区域图像的低频信号，从而用于全脸表情特征的提取；眼眉卷积神经网络和嘴巴卷积神经网络利用方差大于方差阈值R_s的卷积核提取眼眉区域图像和嘴巴区域图像的高频信号，从而用于提取眼睛、眉毛和嘴巴的局部表情特征。

8.根据权利要求1所述的基于三分支卷积神经网络的表情识别方法，其特征在于，步骤S3中，将三分支卷积神经网络的每个分支输出的特征向量合并串联，得到融合后的特征向量FV，将每个分支训练好的权值向量合并串联，得到融合后权值向量FW，将每个分支训练好的三组偏置向量合并串联，得到融合后偏置向量FB，最终得到输出特征FO＝FW×FV+FB。