[发明专利]基于注意力机制的EEG-fNIRS多模态时空融合分类方法

权利要求书

1.基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，包括以下步骤：

(1)采集脑电图EEG数据，并对数据进行预处理；

(2)采集近红外光谱fNIRS数据，并将其转化为血红蛋白浓度变化量；

(3)针对步骤(2)得到的血红蛋白浓度变化量数据，对该数据进行预处理操作；

(4)将步骤(1)、(3)的预处理数据，按照时空位置信息融合为时空矩阵；

(5)将步骤(4)的数据进行z-score归一化处理，然后再按照滑动窗口把数据转化为多个数据片段；

(6)将数据输入到网络模型中训练，提取运动想象的大脑指令时空特征，输出到softmax进行分类。

2.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：EEG数据预处理包括以下步骤：

1)使用1Hz-33Hz的带通滤波去除在EEG数据采集过程中的眨眼、环境所产生的干扰信号；

2)实验数据的EEG的采样频率是200Hz，将其降采样到128Hz。

3.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，将fNIRS数据转化为血红蛋白浓度变化量是利用修正比尔-朗伯定律，包括以下步骤：

修正比尔-朗伯定律总结归纳了适用于生物组织的出射光强与入射光强、介质中吸光物质浓度和光传输距离之间的关系，

其中，I₀为入射光强，I为出射光强，为吸光度，可表示介质的吸光能力，DPF是路径差分因子，i，n表示为某一个吸光物质，ε为消光系数，λ为波长，ε_i^λ为物质i对λ波长的消光系数，c为浓度，c_i为吸光物质i的浓度，d为光在介质中传输的距离，即光源和探测器之间的距离，G是背景散射导致的光衰减量；

根据修正比尔-朗伯定律推导出氧合血红蛋白浓度变化量，

其中，ΔHbO₂为氧合血红蛋白浓度的变化量，ε₂为脱氧血红蛋白的消光系数，ε₁为氧合血红蛋白的消光系数，λ₁代表波长，λ₂代表另一个波长，为脱氧血红蛋白对λ₂波长的消光系数，为对λ₁波长吸光度变化量，为脱氧血红蛋白对λ₁波长的消光系数，为对λ₂波长吸光度变化量，为氧合血红蛋白对λ₁波长的消光系数，为氧合血红蛋白对λ₂波长的消光系数；

推导出脱氧血红蛋白浓度，

其中，ΔHbR为脱氧血红蛋白浓度的变化量。

4.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，血红蛋白浓度变化量的预处理，包括以下步骤：

1)使用0.01Hz-0.3Hz的带通滤波去除在数据采集过程中的心率伪迹、环境所产生的噪声；

2)实验数据的fNIRS的采样频率是10Hz，这里将其上采样到128Hz。

5.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：将预处理后的EEG、fNIRS数据按照时空位置融合为时空矩阵，其中根据修正比尔-朗伯定律求出的fNIRS数据既包含HbO(氧合血红蛋白)数据又包含HbR(脱氧血红蛋白)数据，将EEG和HbO融合为一个二维矩阵，EEG和HbR融合为一个二维矩阵。