[发明专利]一种基于视频和生理信号的多模态情感识别方法及系统

权利要求书

1.一种基于视频和生理信号的多模态情感识别方法，其特征在于，所述方法包括：

步骤S101：接收用户视频图像和皮肤电生理信号数据；

步骤S102：分别对所述视频图像和皮肤电生理信号数据进行特征提取；

步骤S103：利用深度信念网络对所述视频图像特征和皮肤电生理信号特征进行特征选择和融合，得到多模态融合特征；以及

步骤S104：利用分类器对所述多模态融合特征进行分类，从而得到最终的情绪识别结果。

2.如权利要求1所述的基于视频和生理信号的多模态情感识别方法，其特征在于，所述步骤S102包括：

针对所述视频图像，检测人脸并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到视频图像特征向量；以及

针对所述皮肤电生理信号，通过低通滤波进行去噪预处理，然后分别计算原始信号及其一阶微分、二阶微分的均值、中值、标准差、最大值、最小值共计五类特征，以得到皮肤电生理信号特征向量。

3.如权利要求1所述的基于视频和生理信号的多模态情感识别方法，其特征在于，所述步骤S103包括：

针对所述视频图像特征向量，利用深度信念网络进行特征选择和融合，得到所述视频图像的高层特征；

针对所述皮肤电生理信号特征向量，利用深度信念网络进行特征选择和融合，得到所述皮肤电生理信号的高层特征；以及

针对所述视频图像的高层特征和所述皮肤电生理信号的高层特征，利用深度信念网络进行特征选择和融合，得到所述用户的多模态融合特征。

4.如权利要求1所述的基于视频和生理信号的多模态情感识别方法，其特征在于，所述步骤S104中的分类器为基于径向基函数的支持向量机。

5.一种基于视频和生理信号的多模态情感识别系统，其特征在于，所述系统包括：

数据接收模块，用于接收用户视频图像和皮肤电生理信号数据；

特征提取模块，用于提取用户视频图像特征和皮肤电生理信号特征；

特征融合模块，用于对所述视频图像特征和皮肤电生理信号特征进行特征选择和融合，以得到多模态融合特征；以及

情绪识别模块，用于对所述多模态融合特征进行分类，从而得到最终的情绪识别结果。

6.如权利要求5所述的基于视频和生理信号的多模态情感识别系统，其特征在于，所述特征提取模块通过如下方法实现：

针对用户视频图像，检测人脸并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到视频图像特征向量；以及

针对用户皮肤电生理信号，通过低通滤波进行去噪预处理，然后分别计算原始信号及其一阶微分、二阶微分的均值、中值、标准差、最大值、最小值共计五类特征，以得到皮肤电生理信号特征向量。

7.如权利要求5所述基于视频和生理信号的多模态情感识别系统，其特征在于，所述特征融合模块通过如下方法实现：

针对所述视频图像特征向量，利用深度信念网络进行特征选择和融合，得到所述视频图像的高层特征；

针对所述皮肤电生理信号特征向量，利用深度信念网络进行特征选择和融合，得到所述皮肤电生理信号的高层特征；以及

针对所述视频图像的高层特征和所述皮肤电生理信号的高层特征，利用深度信念网络进行特征选择和融合，得到所述用户的多模态融合特征。

8.如权利要求5所述基于视频和生理信号的多模态情感识别系统，其特征在于，所述情绪识别模块通过使用基于径向基函数的支持向量机实现对所述多模态融合特征的分类过程。