[发明专利]多模态智能情绪感知系统

权利要求书

1.一种多模态智能情绪感知系统，其特征在于，包括采集模块、识别模块、融合模块，所述采集模块将采集到的信息传输给所述识别模块，所述采集模块包括视频采集装置、语音采集装置、动作捕捉装置以及生理信号采集装置，所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元，所述识别模块中的各情绪识别单元对多模态信息进行识别，从而获得情绪分量，所述情绪分量包含情绪类型和情绪强度，所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知；

所述基于表情的情绪识别单元通过对采集到的视频或者图像，提取有效的动态表情特征或静态表情特征，训练出人脸表情与情绪的映射模型，在训练好的模型基础上，通过分类器对表情特征进行识别从而得到表情的情绪分量；

基于语音的情绪识别单元从实时采集的语音信号中提取能够表征情绪变化的特征参数，通过对表达情绪的有效参数的提取、分析，进而通过分类器进行情绪的判别，得到语音的情绪分量；

基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征，将其量化为表征情绪的参数，得到人体动作与情绪的映射模型，在识别的过程中，通过对固定长度的运动序列进行动作识别，得到不同的行为特征的数值，将其放入映射模型中从而得到了行为的情绪分量；

基于生理信号的情绪识别单元用于对通过接触或非接触式方式采集的用户生理信号，滤除生理信号中的噪声后，利用经典模态分解和希尔伯特-黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号的生理信号的特征，通过线性融合的方法对上述特征进行特征融合，并用信息增益率对特征进行选择，最后，通过分类器对特征进行识别得到基于生理信号的情绪分量。

2.根据权利要求1所述的多模态智能情绪感知系统，其特征在于，所述基于表情的情绪识别单元包括：

表情特征提取模块，用于对采集到的视频或者图像进行预处理操作，从预处理后的图像或者视频中提取有效的表情特征；

训练映射模型模块，用于利用提取到的有效的表情特征训练出情绪模型；分类器判别情绪模块，用于利用训练好的情绪模型，选取分类器进行情绪类型判别和情绪强度的计算，得到表情的情绪分量。

3.根据权利要求2所述的多模态智能情绪感知系统，其特征在于，

在表情特征提取模块中，对采集到的视频序列进行关键帧提取，在检测到视频序列的关键帧后，将单个表情的一段完整的视频序列分割出来，对分割后的视频片段进行预处理操作，对预处理后的视频序列提取动态特征或者静态特征，从而提取有效的表情特征；

在训练映射模型模块中，对提取到的动态特征或静态特征，采用特征降维方法进行特征降维去取特征间的相关性，并对降维后的特征用reliefF特征选择方法进行特征选择加权，使得加权后的综合特征更加具有区分能力。

4.根据权利要求3所述的多模态智能情绪感知系统，其特征在于，在表情特征提取模块中，关键帧提取的特征是视频序列的三维空间梯度的幅值特征或是光流应变幅值。

5.根据权利要求3所述的多模态智能情绪感知系统，其特征在于，在所述表情特征提取模块中，所述预处理操作包括对分割后的视频片段进行人脸检测、人眼定位、根据人眼进行配准、旋转至水平、剪切归一化人脸、直方图均衡化，所述预处理操作包括上述操作的一种或几种。

6.根据权利要求1所述的多模态智能情绪感知系统，其特征在于，所述基于语音的情绪识别单元包括：

语音提取分析模块，对采集到的语音信号进行预处理，并从中提取能够表征情绪变化的特征参数；

分类器判断模块，针对表征情绪变化的特征参数，通过分类器进行情绪的判别，得到语音情绪分量；

在所述语音提取分析模块中，对采集到的语音信号进行采样、量化，使之变成数字信号，然后对语音信号进行分帧、加窗的预处理，对原始特征向量集合进行降维，得到简约向量集，降低网络模型的复杂性，降低训练时间；

在所述分类器判断模块中，采用分类器的分类识别算法进行分类识别，从而得到语音的情绪识别分量。