[发明专利]沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置

权利要求书

1.一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，该方法包括以下步骤：

步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；

步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；

步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；

步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；

步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。

2.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在所述步骤一之前还包括筛选所述受训者的步骤：

从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述受训图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则将所述观看者作为受训者。

3.根据权利要求2所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：

从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述培训图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80%范围内，则所述受训者培训合格。

4.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤三中，

所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。

5.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤四中，识别所述测试者的情绪类别的过程为：

采用三个并联卷积层提取所述个人生物信号的特征图，3个所述并联卷积层的卷积核窗口大小为3*4、4*4和5*4，3个所述并联卷积层的卷积核均为128个；

采用最大池化的方式对所述特征图进行池化，得到3个最大池化的特征图，核大小为2*4；利用拼接的方法，将所述特征图拼接成一个特征向量；

全连接层中，使用Dropout方法使部分神经元的权值向量失效，概率p = 0.6；最后在softmax分类函数得出情绪类别。

6.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤一和所述步骤二之间还包括将所述步骤一中采集到的数据集分成训练子集和测试子集；

所述步骤二中训练并构建识别卷积神经网络模型的过程为：进行参数的随机初始化；输入所述训练子集，计算所述训练子集的预测值与真实值的交叉熵损失值来更新所述识别卷积神经网络模型的权值和偏置，当损失值低于阈值时，输出的识别卷积神经网络模为训练后的所述识别卷积神经网络模；训练后的所述识别卷积神经网络模能对测试子集进行结果的预测。

7.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述实验环境为：

在10m*20m的虚拟室内场景中，所述受训者坐在智能移动设备，佩戴虚拟现实设备观看所述图片；所述受训者平复心情2min，利用SAM自我评估人体模型对所述图片进行量化评分，休息10min，进行下次实验。