[发明专利]基于脑区局部-全局注意力的脑电情感分类方法及系统

说明书

本发明公开了基于脑区局部‑全局注意力的脑电情感分类方法及系统，所述系统包括刺激素材呈现模块、脑电采集模块、脑电局部特征提取模块、模拟脑区全卷拓扑注意力神经网络模块、移动终端模块。所述方法包括：播放用于诱发情绪的视频素材；采集脑电信号；并对脑电信号提取脑电的局部特征；过脑电特征切片和位置编码实现模拟脑区拓扑结构，再使用脑电的局部和全局特征，对脑电的情感标签进行分类识别。本发明将模拟脑区局部‑全局拓扑的数据处理方法应用于脑电情感识别，提高了脑电情感识别的精度，具有较好的稳定性，并且能够反映脑功能区在不同情绪状态下的拓扑连接，具有广阔的应用前景。

技术领域

本发明涉及机器学习、深度学习和情感计算技术领域，具体涉及一种基于脑区局部-全局注意力的脑电情感分类方法及系统。

背景技术

近年来，认知神经科学研究表明情绪的发生以及相应的活动与大脑皮层的活动关系十分密切，这些研究结论为进一步借助这种神经元电位是中枢神经系统的生理活动的基础，可以反映其功能和生理的变化。脑电具有毫秒级的时间分辨率，适合应用于时间响应要求较高的场景，比如对情感变化的实时检测与反馈等。与此同时，由于脑电采集设备的便携化和测量的易用性，脑电将会在教育、医疗与娱乐领域的发挥更多的作用。

由于脑电与中枢神经系统的密切联系，以及在采集成本和使用上的优势，利用脑电进行情感分类研究一直以来备受关注。在情感计算领域，脑电信号作为一项生理指标被用来研究情感状态的变化。研究者通过图片、音频、视频给与被试视觉和听觉上的刺激，记录被试者在实验期间的脑电，然后通过事先评定好的素材标签来研究脑电与诱发情绪之间的关系。

当前，已有许多研究者在脑电的情感分类研究中使用了机器学习与深度学习方法。K近邻算法(KNN)、支持向量机(SVM)、全连接神经网络(FC)、卷积神经网络(CNN)、循环神经网络(RNN)等算法已经被应用在目前的脑电情感分类的研究中。此外，由脑电溯源分析得到的脑功能区研究结果也与现有的脑科学结论相近，说明脑电在进一步研究脑功能方面具有很大的潜力。然而，目前的脑电情感分类的研究忽略了脑电的全局拓扑特征的作用，仍缺乏稳定、有效的模拟脑区拓扑的方法，模型在精度和泛化性方面表现较差，不能满足需要。如刘继尧等在中国发明公开专利CN113297981A中公开的“一种基于注意力机制的端到端脑电情感识别方法”中，只是在CNN和LSTM上加入了注意力机制，没有结合脑电信号在大脑生理结构上的局部和全局的空间特征信息，预测精度和可解释性不高。

发明内容

为了解决现有技术中的上述缺陷，本发明提供一种基于脑区局部-全局注意力的脑电情感分类方法及系统，该方法及系统融合了脑电的局部和全局拓扑特征进行预测，能实现较高的预测精度，全局特征的权值能够对脑区的功能连接进行更好地表征。

为了实现本发明目的，本发明提供的一种基于脑区局部-全局注意力的脑电情感分类方法，所述的脑电情感分类方法包括以下步骤：

S1、播放用于诱发情绪的视频素材；

S2、采集脑电信号并将采集的脑电信号由模拟信号转换成数字信号存储；

S3、对脑电信号提取脑电局部特征L_i,其中i＝1，2，3，......，N,N为输入的数据样本数量；

S4、对脑电信号进行切片后结合位置编码模拟脑区拓扑结构，从脑区拓扑结构中提取脑电全局特征G_i，其中i＝1，2，3，......，N,N为输入的数据样本数量，基于脑电局部特征L_i和脑电全局特征G_i，通过多层自注意力机制对脑电的情感标签y进行分类识别，得到脑电情感分类结果。

进一步地，所述的步骤S1过程如下：

S101、刺激素材呈现模块，通过连接1280×1024像素、60Hz的液晶显示器和扬声器，台式电脑主机，使其具备播放视频的条件；