[发明专利]沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置

说明书

本发明提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置，该方法包括：步骤一、在实验环境中进行情绪诱发实验；步骤二、在实验环境中受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集受训者的生物信号，利用SAM自我评估人体模型对图片进行量化评分；步骤二、将量化评分定位在valence‑arousal二维情绪模型进行映射，确定量化评分对应的情绪种类；步骤三、以情绪种类作为标签将受训者的生理信号投入识别卷积神经网络模型，训练得到情绪模型；步骤四，获取测试者的个人生物信号导入情绪模型中，识别测试者的情绪类别。

技术领域

本发明涉及情绪识别领域，尤其涉及一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置。

背景技术

现有技术中，机器人技术在完成某项任务的过程中，没有考虑到人的主观感受和心理上的需求。人们已经不仅仅满足于命令机器人做一些机械性的、简单的操作，如果机器人能够识别人的情绪并根据人的情绪做出符合人意愿的调节，那么人与机器人之间的交互将变得更加和谐。

目前的情绪识别方法基于表情、语音语调和姿态姿势进行情绪识别，往往不能真实感知人的情感态度，虽然生理信号的情绪识别具有更强的准确性与鲁棒性，但是单一模态的生理信号准确率较低。同时单模态的生理数据对情绪的表达存在一定限制，每个模态对于不同情绪的敏感度存在差异。

因此，如何提供一种准确率高、适应性好的情绪识别方法和装置，是本领域技术人员亟待解决的技术问题。

发明内容

为了解决上述问题，本发明提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，该方法包括以下步骤：

步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；

步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；

步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；

步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；

步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。

在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在所述步骤一之前还包括筛选所述受训者的步骤：

筛选所述受训者，从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则所述观看者为受训者。

在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：

培训所述受训者，从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80％范围内，则所述受训者培训合格。

在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤三中，

所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。