[发明专利]一种情感识别方法及装置

权利要求书

1.一种情感识别方法，其特征在于，包括：

通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第一情感结果；

通过预先建立的三维卷积神经网络模型识别所述待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，得到第二情感结果；

在得到所述第一情感结果及所述第二情感结果时，对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果；

根据所述融合结果中的最大值，通过预先建立的融合结果和情感类型的对应关系，得到所述待识别视频的情感类型。

2.根据权利要求1所述的情感识别方法，其特征在于，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：

对所述待识别视频进行预处理，得到所述待识别视频的帧序列。

3.根据权利要求1所述的情感识别方法，其特征在于，位于所述通过预先建立的递归神经网络模型识别待识别视频的帧序列中人脸的外观特征和所述帧序列的时间特征，之前，所述方法还包括：

通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立卷积神经网络模型；

通过递归神经网络对所述卷积神经网络模型的外观特征进行训练，建立递归神经网络模型；

通过三维卷积神经网络对AFEW6.0数据库中的具有基本表情的视频片段进行训练，得到三维卷积神经网络模型。

4.根据权利要求2所述的情感识别方法，其特征在于，所述对所述待识别视频进行预处理，得到所述待识别视频的帧序列的步骤，包括：

对所述待识别视频中的每一帧图片做仿射变换，得到所述帧序列。

5.根据权利要求1所述的情感识别方法，其特征在于，所述对所述第一情感结果、所述第二情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：

根据公式：W_video＝a₁×W_CNN-RNN+(1-a₁)×W_C3D，

得到融合结果W_video，其中，W_CNN-RNN为所述第一情感结果，W_C3D为所述第二情感结果，a₁为第一情感结果参数，1-a₁为第二情感结果参数，a₁为大于0且小于1的数值。

6.根据权利要求1所述的情感识别方法，其特征在于，位于所述对所述第一情感结果、所述第二情感结果进行融合计算，之前，所述方法还包括：

提取所述待识别视频的音频特征，通过支持向量机模型识别所述音频特征，得到音频情感结果；

在得到所述第一情感结果、所述第二情感结果及所述音频情感结果时，对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果。

7.根据权利要求6所述的情感识别方法，其特征在于，所述对所述第一情感结果、所述第二情感结果及所述音频情感结果进行融合计算，得到所述待识别视频的融合结果的步骤，包括：

根据公式：

W_video＝w₁×W_CNN-RNN+w₂×W_C3D+(1-w₁-w₂)×W_Audio，得到融合结果W_video，

其中，W_CNN-RNN为所述第一情感结果，W_C3D为所述第二情感结果，W_Audio为所述音频情感结果，w₁为第一情感结果参数，w₂为第二情感结果参数，1-w₁-w₂为音频情感结果参数，w₁、w₂和w₁+w₂为大于0且小于1的数值。