[发明专利]多模态智能情绪感知系统

摘要

本发明提供了一种多模态智能情绪感知系统，包括采集模块、识别模块、融合模块，所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元，所述识别模块中的各情绪识别单元对多模态信息进行识别，从而获得情绪分量，所述情绪分量包含情绪类型和情绪强度，所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知。本发明的有益效果是相较于现有技术，本发明可以更加准确地识别出情绪，有效检测出用户在表里不一的情况下的真实情绪。

主权项

一种多模态智能情绪感知系统，其特征在于，包括采集模块、识别模块、融合模块，所述采集模块将采集到的信息传输给所述识别模块，所述采集模块包括视频采集装置、语音采集装置、动作捕捉装置以及生理信号采集装置，所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元，所述识别模块中的各情绪识别单元对多模态信息进行识别，从而获得情绪分量，所述情绪分量包含情绪类型和情绪强度，所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知；所述基于表情的情绪识别单元通过对采集到的视频或者图像，提取有效的动态表情特征或静态表情特征，训练出人脸表情与情绪的映射模型，在训练好的模型基础上，通过分类器对表情特征进行识别从而得到表情的情绪分量；基于语音的情绪识别单元从实时采集的语音信号中提取能够表征情绪变化的特征参数，通过对表达情绪的有效参数的提取、分析，进而通过分类器进行情绪的判别，得到语音的情绪分量；基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征，将其量化为表征情绪的参数，得到人体动作与情绪的映射模型，在识别的过程中，通过对固定长度的运动序列进行动作识别，得到不同的行为特征的数值，将其放入映射模型中从而得到了行为的情绪分量；基于生理信号的情绪识别单元用于对通过接触或非接触式方式采集的用户生理信号，滤除生理信号中的噪声后，利用经典模态分解和希尔伯特‑黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号的生理信号的特征，通过线性融合的方法对上述特征进行特征融合，并用信息增益率对特征进行选择，最后，通过分类器对特征进行识别得到基于生理信号的情绪分量。