[发明专利]一种基于自训练最大化分类器差异的情绪识别方法

说明书

本发明属于情绪识别领域，具体涉及一种基于自训练最大化分类器差异的情绪识别方法；该方法包括：实时获取受试者的脑电图EEG数据，对EEG数据进行预处理，将预处理后的数据输入到基于自训练最大化分类器差异的情绪识别模型中，得到受试者的情绪识别结果；本发明提出了一种新的域自适应对抗训练方法，该方法采用软标签进行跨学科EEG情绪分类，该方法不仅考虑特定类别的决策边界，而且使用了软标签进一步提取有助于对目标域分类的源域信息，情绪识别结果更准确，具有良好的经济效益。

技术领域

本发明属于情绪识别领域，具体涉及一种基于自训练最大化分类器差异的情绪识别方法。

背景技术

近年来，情绪识别是科学研究和工程学中的重要问题，受到了国内外学者的广泛关注。在心理学研究中，情绪识别为研究情绪相关的行为提供了参考指标。在工程学研究中，它促进了更友好的人机交互，使机器能通过系统或智能设备识别、处理和解释人类情感。在医学领域，情绪识别有助于辅助诊断和治疗自闭症或抑郁症等各种精神疾病，使医护人员能够准确知道有表达障碍患者的情绪状态，为患者提供高质量服务和护理措施。在娱乐和消费领域，视频网站和广告公司通过获取观众的情绪信息判断观众喜好，个性化的推荐视频和音乐。

目前，已有多种方法可以识别用户的心理情绪，比如面部表情、人体姿态和语音语调。然而，这些基于非生理信号的情绪信息可以通过人为控制而发生改变，具有一定的欺骗性。一些基于生理信号的情绪识别方法包括脑电图(EEG)、肌电图(EMG)、心电图(ECG)、功能性近红外光谱技术(FNIRS)等；由于人们无法控制自身生理信号的变化，因此，基于生理信号的情绪识别显得更加可靠，而这其中，脑电图同人体的精神状态关联性最高，因此脑信号被认为更适合判定受试者的情绪波动的生理信号。目前，已有众多学者基于EEG分别在特征提取，通道选择以及分类算法等方面进行情绪识别技术研究，并取得了显著的效果。在特征提取方面，研究者分别从时域、频域和时-频域方面对EEG情绪数据进行特征提取。例如，现有技术中，一种比较能量谱(ES)、微分熵(DE)等频域特征，并使用线性动力学系统对特征进行平滑的方法，此方法已取得了显著的效果并被广泛的应用；一种使用长短时记忆网络(LSTM)自动提取时间特征的方法。在通道选择方面，有考虑到大脑左右半球之间的神经元活动不对称性，使用不同的邻接权重进行情绪识别的方法。在分类算法方面，传统机器学习和深度学习在基于EEG的情绪识别研究中都得到了广泛的应用，并取得了显著的效果。一种使用不同通道中的差分熵作为特征，利用层次卷积神经网络(HCNN)对情绪进行三分类的方法，取得了良好的识别率，并证明了beta与gamma节律包含了最丰富的情绪信息。

由于EEG存在很强的个体差异和不平稳性，训练好的模型很难在新的受试者上应用良好，并且随着时间的推移，之前训练好的模型在同一个受试者上的模型效果也会越来越差。一种直接的解决方法是为每个受试者使用大量的数据训练特定的模型，然而这需要花费大量的人力、物力和时间来收集有标签的数据集。另一种解决方法是使用领域适应方法。领域适应方法可以将知识从标签丰富的域(即源域)迁移到标签稀缺的域(即目标域)。例如，一种将风格迁移映射(STM)应用到基于EEG的多源域跨用户情感识别的方法。此方法中使用了目标域受试者的少量标签数据进行数据校准，是一种半监督迁移方法。实验结果表明，与不使用领域适应方法相比，该方法分类准确性提高了12.72％；一种使用域对抗神经网络(DANN)的方法，可消除受试者之间的差异并在分类效果上取得了显著提高；一种基于对抗神经网络使用局部注意力机制和全局注意力机制的方法可自适应的学习出可迁移的脑区和样本，从而学习情绪的判别性信息。

虽然上述方法已经取得了显著的效果，然而领域适应方法直接使用源域和目标域的特征进行完全匹配却不考虑样本的类别，导致域适应的效果并不好。主要原因是完全对齐源域和目标域的分布是一件很困难的事情，特别是面对多个受试者集成的EEG源域数据。此外，直接使用人工提取的特征的方法忽略频带间的关系和通道间的空间信息，不能深度挖掘脑区关系和频带关系。在基于EEG信号的情绪识别中，不同情绪下不同频带的信号强度不同且大脑活动的区域也不同。大多数研究直接将人工提取的特征输入分类器，忽略了频带间的关系和通道间的空间信息，使分类效果下降。