[发明专利]一种面向开放环境的多模态情感识别方法及装置

权利要求书

1.一种面向开放环境的多模态情感识别方法，其特征在于，所述方法包括，

获取目标对象的人脸表情序列；基于所述人脸表情序列得到第一置信结果；其中，包括，

使用第一算法提取所述人脸表情序列的特征，得到第一序列；

使用第二算法提取所述第一序列的特征，得到第二序列；

将第二序列中的最后一个元素送入分类器中进行分类，得到关于情感的第一置信结果；

获取目标对象的语谱图序列，基于所述语谱图序列得到第二置信结果；其中，包括，使用第一算法提取所述语谱图序列的特征，得到第三序列；

使用第二算法提取所述第三序列的特征，得到第四序列；

将第四序列中的最后一个元素送入分类器中进行分类，得到关于情感的第二置信结果；

获取目标对象的姿态序列，基于所述姿态序列得到第三置信结果；其中，包括，

基于所述姿态序列得到简化线图序列；

使用第一算法提取所述简化线图序列的特征，得到第五序列；

使用第二算法提取所述第五序列的特征，得到第六序列；

将第六序列中的最后一个元素送入分类器中进行分类，得到关于情感的第三置信结果；

其中，使用所述第二算法提取时，能够从输入序列中获取时间上的关联性；

将第一置信结果、第二置信结果和第三置信结果进行融合，得到第四置信结果；

基于所述第四置信结果识别出所述目标对象的情感；

其中，所述人脸表情序列、语谱图序列和姿态序列同在第一时间段内获取得到。

2.根据权利要求1所述的方法，其特征在于，所述基于所述姿态序列得到第三置信结果，包括，

基于所述姿态序列中的一张姿态图像得到简化线图像；

使用第一算法提取所述简化线图像的特征，得到第一特征；

将第一特征送入分类器中进行分类，得到关于情感的第三置信结果。

3.根据权利要求1所述的方法，其特征在于，所述获取目标对象的人脸表情序列，包括，

从视频文件中读取若干帧人脸表情图像；

所述若干帧人脸表情图像形成所述人脸表情序列。

4.根据权利要求1所述的方法，其特征在于，所述获取目标对象的语谱图序列，包括，

对音频文件进行加窗分帧，形成若干帧子音频文件；

基于所述若干帧子音频文件生成若干张语谱图；

所述若干张语谱图形成所述语谱图序列。

5.根据权利要求1所述的方法，其特征在于，所述获取目标对象的姿态序列，包括，

从视频文件中读取若干帧姿态图像；

所述若干帧姿态图像形成所述姿态序列。

6.根据权利要求1所述的方法，其特征在于，所述将第一置信结果、第二置信结果和第三置信结果进行融合，包括，

在决策层使用D-S证据理论融合方法将第一置信结果、第二置信结果和第三置信结果进行融合。

7.一种面向开放环境的多模态情感识别装置，其特征在于，所述装置至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器执行如下步骤：

获取目标对象的人脸表情序列；基于所述人脸表情序列得到第一置信结果；其中，包括，

使用第一算法提取所述人脸表情序列的特征，得到第一序列；

使用第二算法提取所述第一序列的特征，得到第二序列；

将第二序列中的最后一个元素送入分类器中进行分类，得到关于情感的第一置信结果；

获取目标对象的语谱图序列，基于所述语谱图序列得到第二置信结果；其中，包括，使用第一算法提取所述语谱图序列的特征，得到第三序列；

使用第二算法提取所述第三序列的特征，得到第四序列；

将第四序列中的最后一个元素送入分类器中进行分类，得到关于情感的第二置信结果；

获取目标对象的姿态序列，基于所述姿态序列得到第三置信结果；其中，包括，

基于所述姿态序列得到简化线图序列；

使用第一算法提取所述简化线图序列的特征，得到第五序列；

使用第二算法提取所述第五序列的特征，得到第六序列；

将第六序列中的最后一个元素送入分类器中进行分类，得到关于情感的第三置信结果；

其中，使用所述第二算法提取时，能够从输入序列中获取时间上的关联性；

将第一置信结果、第二置信结果和第三置信结果进行融合，得到第四置信结果；

基于所述第四置信结果识别出所述目标对象的情感；

其中，所述人脸表情序列、语谱图序列和姿态序列同在第一时间段内获取得到。