[发明专利]一种基于视频和生理信号的多模态情感识别方法及系统

说明书

本发明提供一种基于视频和生理信号的多模态情感识别方法及系统，所述方法包括：接收用户视频图像和皮肤电生理信号数据；分别对所述视频图像和皮肤电生理信号数据进行特征提取；利用深度信念网络对所述视频图像特征和皮肤电生理信号特征进行特征选择和融合，得到多模态融合特征；以及利用支持向量机对所述多模态融合特征进行分类，从而得到最终的情绪识别结果。本发明针对多模态情感识别，采用深度信念网络实现了特征选择过程的自动化，减少了特征选择对人工经验和实验次数的依赖性，对多模态情感识别提供了新思路。

技术领域

本发明涉及信号处理、情感识别技术领域，具体而言涉及一种基于视频和生理信号的多模态情感识别方法及系统。

背景技术

情感识别的目的在于通过计算机对用户的生理信号进行分析和处理，得出用户的情感状态。目前针对语音或者生理信号的单模式情感识别技术已经相对成熟，但存在信息单一识别的结果不够可靠、准确的缺点。因此，利用不同性质的多模态特征的多模态情感识别技术值得进一步研究。

多模态情感识别的主要步骤包括信息特征提取和分类器设计。分类器主要有支持向量机、神经网络、K近邻算法、贝叶斯方法等等。国内外研究人员在解决多模态情感识别问题时，大部采用这些分类算法。这类多模态情感识别方法极大地依赖于对情感特征的抽取，而目前采用的特征抽取方法大都是人工设计的，再通过特征选择算法剔除冗余或者不相关的特征，得出最优或者次优特征子集，这一步骤的目的是为了提高识别准确率和降低特征维度。这一过程极大地依赖人工专家的经验和反复实验，既需要大量的人力与计算资源，又很难得到最优的情感特征表达，从而影响了情感识别的最终效果。

本发明针对现有多模态情感识别技术中特征提取方法的不足，利用深度信念网络在自动提取特征方面的优势，结合多模态情感识别技术，实现一种基于视频和生理信号的多模态情感识别方法。既利用了多模态特征的相关性和互补性，实现更加可靠稳定的情感识别，又能通过深度信念网络的非线性结构更好地学习复杂数据的结构和分布，自动提取更高级的特征然后分类，减少了情感特征提取对人的依赖性。

发明内容

针对现有技术的不足，本发明提出一种基于视频和生理信号的多模态情感识别方法，所述方法包括：步骤S101：接收用户视频图像和皮肤电生理信号数据；步骤S102：分别对所述视频图像和皮肤电生理信号数据进行特征提取；步骤S103：利用深度信念网络对所述视频图像特征和皮肤电生理信号特征进行特征选择和融合，得到多模态融合特征；以及步骤S104：利用分类器对所述多模态融合特征进行分类，从而得到最终的情绪识别结果。

示例性地，所述步骤S102包括：针对所述视频图像，检测人脸并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到视频图像特征向量；以及针对所述皮肤电生理信号，通过低通滤波进行去噪预处理，然后分别计算原始信号及其一阶微分、二阶微分的均值、中值、标准差、最大值、最小值共计五类特征，以得到皮肤电生理信号特征向量。

示例性地，所述步骤S103包括：针对所述视频图像特征向量，利用深度信念网络进行特征选择和融合，得到所述视频图像的高层特征；针对所述皮肤电生理信号特征向量，利用深度信念网络进行特征选择和融合，得到所述皮肤电生理信号的高层特征；以及针对所述视频图像的高层特征和所述皮肤电生理信号的高层特征，利用深度信念网络进行特征选择和融合，得到所述用户的多模态融合特征。

根据本发明的一个实施例，所述步骤S104中的分类器为基于径向基函数的支持向量机。

另一方面，本发明还提供一种基于视频和生理信号的多模态情感识别系统，所述系统包括：数据接收模块，用于接收用户视频图像和皮肤电生理信号数据；特征提取模块，用于提取用户视频图像特征和皮肤电生理信号特征；特征融合模块，用于对所述视频图像特征和皮肤电生理信号特征进行特征选择和融合，以得到多模态融合特征；以及情绪识别模块，用于对所述多模态融合特征进行分类，从而得到最终的情绪识别结果。