[发明专利]一种情绪识别方法、系统及存储介质

权利要求书

1.一种情绪识别方法，其特征在于，包括以下步骤：

获取用户的人脸图像和脑电波；

根据获取的脑电波和人脸图像分别对用户的情绪状态进行预测，获得基于脑电波和基于人脸图像的情绪状态预测结果；

利用Valence-arousal二维模型对基于人脸图像和基于脑电波的情绪状态预测结果进行映射，根据映射结果获得用户的情绪状态。

2.根据权利要求1所述的情绪识别方法，其特征在于：所述利用获取的脑电波对用户的情绪状态进行预测，获得基于脑电波的情绪状态预测结果步骤中，包括以下步骤：

对获取的脑电波进行小波变换提取功率谱密度特征；

使用递归特征选择方法选取功率谱密度特征；

调用预设的SVM模型对选取的功率谱密度特征进行分类；

针对预测积极程度和唤醒程度两种情况，分别调用不同的SVM模型预测用户的情绪值，并根据该情绪值获得基于脑电波的情绪状态预测结果；

或者，所述利用获取的脑电波对用户的情绪状态进行预测步骤中，包括以下步骤：

对获取的脑电波进行小波变换提取功率谱密度特征；

将提取的功率谱密度特征以10s作为一个样本进行采样，获得时序特征；

利用长短期记忆模型对所述时序特征回归预测，获得积极程度和唤醒程度情况下用户的情绪值，并根据该情绪值获得基于脑电波的情绪状态预测结果。

3.根据权利要求1所述的情绪识别方法，其特征在于：所述利用获取的人脸图像对用户的情绪状态进行预测，获得基于人脸图像的情绪状态预测结果步骤中，包括以下步骤：

从人脸图像中获取人脸特征信息；

将所述人脸特征信息输入CNN模型获得若干个子结果；

根据该子结果获得基于人脸图像的情绪状态预测结果。

4.根据权利要求2所述的情绪识别方法，其特征在于：所述对获取的脑电波进行小波变换提取功率谱密度特征步骤中，采用Daubechies的小波变换系数进行特征提取。

5.根据权利要求1所述的情绪识别方法，其特征在于：所述利用Valence-arousal二维模型对基于人脸图像和基于脑电波的情绪状态预测结果进行映射，根据映射结果获得用户的情绪状态的步骤具体包括：

预设参数k，并通过计算每一次两种模态融合后预测值的准确率调整参数k，选取准确率最大的参数作为k的参数；通过下述方式获得预测值：

S_enum＝kS_face+(1-k)S_EEG；

其中，S_enum代表两种模态融合后的预测值，S_face和S_EEG分别代表基于人脸图像和基于脑电波的情绪状态预测结果，而k代表人脸图像的重要程度，1-k代表脑电波的重要程度；

利用Valence-arousal二维模型对预测值进行映射，根据映射结果获得用户的情绪状态。

6.根据权利要求1所述的情绪识别方法，其特征在于：所述利用Valence-arousal二维模型对基于人脸图像和基于脑电波的情绪状态预测结果进行映射，根据映射结果获得用户的情绪状态的步骤具体包括：

将所述基于人脸图像和基于脑电波的情绪状态预测结果通过下述方式进行融合，获得预测值：

其中，n代表模态个数，所述S_boost代表n个模态的情绪状态预测结果融合后的预测值，s_j代表对应的模态的输出结果，w_j代表权重系数；

利用Valence-arousal二维模型对预测值进行映射，根据映射结果获得用户的情绪状态。

7.根据权利要求1所述的情绪识别方法，其特征在于：获取用户的人脸图像和脑电波步骤中，调用数据采集框架采集数据，执行以下步骤：

录入实验信息并存入数据库；

倒计时结束后进行播放视频刺激用户，调用摄像头设备和脑机设备获取用户人脸图像和脑电波，循环进行若干组实验；

达到设定循环次数后实验结束。