[发明专利]一种跨被试和跨模态的多模态紧张情绪识别方法及系统

说明书

本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对眼动信号训练数据及脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，预处理包括：滤波处理、频域变换处理及特征维度统一；将眼动特征信号及脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将眼动信号测试数据输入至训练完成的多模态紧张情绪识别模型，得到眼动信号测试数据对应的紧张情绪分类结果。本发明提高了紧张情绪识别的准确性。

技术领域

本发明涉及情绪识别技术领域，特别是涉及一种跨被试和跨模态的多模态紧张情绪识别方法及系统。

背景技术

情感智能是提升人机交互中用户体验的一种很有前景的方法，因而成为人工智能研究的热点。情感智能包含情绪识别、情绪理解和情绪调节等三个主要阶段，其中第一步是最关键的，因为它在娱乐、教育、医疗以及工业等广泛场景中有着巨大的应用潜力。

研究人员已经探索了各种方法来寻找一种有效的测量情绪的方法。实验证明，代表外部潜意识行为的眼动信号与内部生理反应的脑电信号相结合是一种更可靠并且可解释性高的方法。然而，虽然这种互补搭配表现不错，但脑电信号采集设备在有些实际应用场景中难以使用。由于注入脑电膏等操作会不可避免地造成外在障碍，使得在日常生活中使用成本高，操作困难。另外，脑电数据具有高度的被试依赖性，易受被试之间的结构和功能差异的影响，这给构建实用性的基于脑电的情感模型带来了巨大的挑战。

发明内容

为解决以上现有技术问题，本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，提高了紧张情绪识别的准确性。

本发明第一方面提供一种跨被试和跨模态的多模态紧张情绪识别方法，包括：

获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

进一步地，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

进一步地，所述特征提取包括：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

进一步地，所述浅层特征提取器的训练过程通过以下公式表示：