[发明专利]自然场景下的表情识别方法和装置

权利要求书

1.自然场景下的表情识别方法，其特征在于，包括：

S1：数据切分：将输入视频按指定帧率转化为视频帧序列，并进行人脸表情标注，得到视频帧标注序列；

S2：视频帧标注序列预处理：对视频帧标注序列进行消除光照、剔除非人脸的区域和消除头部姿态对人脸表情的影响，得到表情视频帧序列，对表情视频帧序列进行扩增，得到视频预处理帧序列；所述消除光照的具体方法为：采用亮度保留动态直方图均衡化方法消除视频帧标注序列中的光照影响，得到视频帧除光序列；

S3：视频预处理帧序列特征提取：从视频预处理帧序列中提取表征面部外观和形状特征的定向梯度直方图特征、提取面部褶皱程度的二阶特征和使用深度神经网络提取像素级深度神经网络特征；

S4：将定向梯度直方图特征、面部褶皱程度的二阶特征和像素级深度神经网络特征进行对齐处理，再进行向量融合，得到用于训练的面部特征融合向量；

S5：将所述面部特征融合向量输入支持向量机做表情分类；

所述提取表征面部外观和形状特征的定向梯度直方图特征的具体方法为：利用定向梯度直方图融合视频预处理帧序列中的时域信息，分别提取水平轴和时间轴面部表情特征、垂直轴和时间轴面部表情特征、水平轴和垂直轴面部表情特征，并进行定向梯度直方图处理和特征向量合并，组成三平面定向梯度直方图特征。

2.根据权利要求1所述的自然场景下的表情识别方法，其特征在于，所述剔除非人脸的区域的方法为：利用人脸检测器对视频帧除光序列进行人脸检测和定位，得到人脸关键点标定，再利用放射变换显示人脸关键点标定到统一的预定义模板上，得到人脸视频帧序列。

3.根据权利要求2所述的自然场景下的表情识别方法，其特征在于，所述消除头部姿态对人脸表情的影响的方法为：利用空间变换网络消除人脸视频帧序列中头部姿态对人脸表情的影响，得到表情视频帧序列。

4.根据权利要求3所述的自然场景下的表情识别方法，其特征在于，所述对表情视频帧序列进行扩增采用数据増广或者生成式对抗网络，得到视频预处理帧序列。

5.根据权利要求1所述的自然场景下的表情识别方法，其特征在于，所述提取面部褶皱程度的二阶特征的具体方法为：利用协方差矩阵池化提取视频预处理帧序列中描述面部褶皱程度的二阶统计特征，并利用对称正定流形网络进一步处理得到相应的面部二阶特征。

6.根据权利要求1所述的自然场景下的表情识别方法，其特征在于，所述提取像素级深度神经网络特征的具体方法为：使用深度神经网络对视频预处理帧序列数据进行处理，不输出标准的分类结果，而是提取在激活函数之前的特征向量作为面部像素级深度神经网络特征。