[发明专利]一种基于递归神经网络的离散情感识别方法

摘要

本发明提出的一种基于递归神经网络的离散情感识别方法，步骤为：1、对视频中的图像信号进行人脸检测及跟踪，得到人脸区域后，提取人脸关键点作为人脸的形变特征；将人脸区域裁剪并归一化到统一大小，提取人脸的外观特征；2、对视频中的音频信号进行加窗处理，分割出音频序列单元并提取音频特征；3、利用具有长短时记忆模型的递归神经网络分别对上述得到的三项特征进行时序编码，获得固定长度的情感表征向量；并将其相串联，得到最终情感表述特征；4、基于的支持向量机分类器，利用3中得到的最终情感表述特征进行情感类别预测。该方法能够充分利用情感表达过程中的动态信息，从而实现视频中参与者情感的精确识别。

主权项

1.一种基于递归神经网络的离散情感识别方法，其特征在于，包括以下步骤：步骤1，对视频中的图像信号进行人脸表情特征的提取：对视频中的图像信号进行人脸检测及跟踪，得到人脸区域后，提取人脸关键点，作为人脸的形变特征；将人脸区域裁剪并归一化到统一大小，提取人脸的外观特征，具体为：对所述人脸区域顺次进行旋转、缩放、裁剪和灰度化处理，得到第一人脸区域；对所述第一人脸区域顺次进行归一化、降维和白化处理，得到第二人脸区域；将所述第二人脸区域的所有像素灰度值作为所述人脸的外观特征；步骤2，对视频中的音频信号进行音频特征的提取：对视频中的音频信号进行加窗处理，分割出音频序列单元；在分割出的音频序列单元上提取音频特征；步骤3，利用具有长短时记忆模型的递归神经网络分别对所述人脸的形变特征、人脸的外观特征、音频特征进行时序编码，获得固定长度的情感表征向量；将所获得的情感表征向量相串联，得到视频数据的最终情感表述特征；步骤4，基于支持向量机算法设计的支持向量机分类器，利用步骤3中得到的最终情感表述特征进行情感类别预测。