[发明专利]一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法

说明书

本发明公开了一种基于并行CNN‑Transformer神经网络的运动想象脑电信号分类方法，包括S1，对运动想象脑电信号进行预处理；S2，在预处理后的运动想象脑电信号中添加噪声来扩充数据；S3，对步骤S1和步骤S2处理后的运动想象脑电信号进行时频分析生成包含时间特征、频率特征和位置信息的二维特征图；S4，构建CNN模型，设置网络参数，提取二维特征图中的频率特征和位置信息；S5，构建Transformer模型，设置网络参数，提取二维特征图中的时间特征；S6，将步骤S4和步骤S5提取的特征进行串联，并输入到分类器得到运动想象分类结果。通过在数据集BCI competition IV dataset 2b上进行验证，并与近年来具有良好表现的运动想象分类方法进行比较，实验结果表明，本发明有更好的分类性能。

技术领域

本发明属于信号处理与模式识别领域，特别是一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法。

背景技术

脑机接口(Brain-computer Interface,BCI)通过人类大脑的意识活动来控制外部设备，实现大脑与设备之间通讯。脑电信号因具有高时间分辨率、低成本和非侵入性的特点被广泛应用于BCI。运动想象脑电信号(Motor Imagery Electroencephalogram,MI EEG)是一种不需要外界刺激，能自发产生的脑电信号。MI EEG非线性、非平稳、低信噪比等特点给解码带来了很大的挑战。脑信息解码的关键问题是特征提取和分类识别。

时域和频域分析方法是常见的特征提取方法。单独使用时域分析或者频域分析很难完整提取丰富的脑电特征。研究者提出用短时傅里叶变换(Short Time FourierTransform,STFT)和连续小波变换(Continue Wavelet Transform,CWT)等时频域分析法从时间和频率两个维度描述MI EEG的特征。对于时变、非平稳的脑电信号，STFT不能同时获得高时间分辨率和频率分辨率。相比于STFT，CWT窗口形状可变，具有更高的时频分辨率。同时CWT可以通过小波基函数的平移和伸缩对信号的不同频段实现多尺度表达。CWT自适应多分辨率的特点使其更适合分析频率随时间变化而变化的脑电信号。

以往分类识别研究中，深度学习方法被广泛用于脑电信号解码。卷积神经网络(Convolutional Neural Networks,CNN)因其强大的局部特征学习能力而被广泛应用。但是由于脑电信号本质上是时间序列信号，具有很强时间依赖性，CNN不能充分利用脑电信号中的时序信息。研究者引入循环神经网络(Recurrent Neural Network,RNN)处理脑电信号的时间相关性。RNN采用的顺序输入方式使模型很难具备高效的并行计算能力，同时RNN难以建立全局依赖关系。最近，具有捕捉长时序输入序列之间的依赖关系、并行计算等特性的Transformer受到了越来越多的关注，这为处理MI EEG的时序信息提供了新的思路。

发明内容

针对现有技术中存在的问题，本发明提出一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法。在本发明方法中，首先利用CWT获得MI EEG结合时间、频率和位置信息的二维特征图。然后CNN提取二维特征图中的频率特征和位置信息；Transformer提取二维特征图中的时间特征。最后以多特征融合的方式提高运动想象脑电信号分类任务的准确性。

鉴于此，本发明采用的技术方案是：一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，包括以下步骤：

S1，对运动想象脑电信号进行预处理；

S2，在预处理后的运动想象脑电信号中添加噪声来扩充数据；

S3，对步骤S1和步骤S2处理后的运动想象脑电信号进行时频分析生成包含时间特征、频率特征和位置信息的二维特征图；

S4，构建CNN模型，设置网络参数，提取二维特征图中的频率特征和位置信息；