[发明专利]基于注意力机制的EEG-fNIRS多模态时空融合分类方法

说明书

本发明提出了一种基于注意力机制的EEG‑fNIRS的多模态的时空融合分类算法。EEG具有高时间分辨率但是空间分辨率较低，而fNIRS具有高空间分辨率但是时间分辨率较低，本发明利用EEG、fNIRS的多模态融合信息提取在运动想象中的大脑指令，以充分利用EEG、fNIRS之间的信息优势互补。本发明针对运动想象的时空特征的提取，本发明采用CNN提取空间特征，然后再利用LSTM提取时间特征，同时在CNN中使用ECA注意力机制以将有限的资源专注于重要的特征。本发明能够在运动想象的分类任务中，充分利用多模态的时空特性，可以有效的提高大脑中指令的识别。

技术领域

本发明涉及一种基于注意力机制的EEG-fNIRS多模态时空融合分类方法，属于脑机接口的运动想象领域。

背景技术

伴随着现代医疗的发展，很多的疑难杂症有了相应的治疗方法，但是有一些疾病受限于目前的医疗水平仍然困扰着人们。无论是老年人容易患上的中风、脑瘫，还是近年走入社会视线的渐冻人症，亦或是因为交通事故导致的截肢，这些疾病现代医疗暂时还没有很好的办法，只能依靠轮椅、拐杖辅助病人行动，而这不仅让病人失去了自由身体上的行动能力，对病人的心理健康也造成了很大的负面影响。大脑作为人的思想、感情产生的地方，无疑是最重要的器官，正是依靠大脑的神经中枢产生的信号控制肢体，我们每天才能自由的行走、运动。而这些疾病虽然导致病人失去了行动的能力，但是他们的大脑和正常人无异，仍然可以产生控制肢体的信号，只是身体的这些部位不能接收信号从而进行相应的反馈。传统的轮椅因为需要人工推动，不是那么方便，现在有些电动的轮椅可以很好的改变这些缺点，但是这仍是有局限性的，因为需要病人通过手动、声音或者面部表情控制，而对于像没有肌肉控制能力的渐冻症病人来说，这是一项艰难的任务。

脑-机接口(BCI)是一种可以将人或动物的大脑和电子机械设备之间建立连接，实现信息交换的技术，从而可以让大脑直接控制设备，使物理设备成为身体的延展。对于失去行动能力的病人，可以通过收集大脑中的信号，进行快速的分析判断，从而驱动类似电动轮椅、机械肢体的运动，帮助他们更好的行动。在医疗领域，BCI可以帮助残疾病人重拾生活的希望，其它领域BCI也有着广泛的应用场景，在生活娱乐领域，人们将可以通过思维玩游戏或者其它的娱乐，这将会带来更好的浸入式体验，而在军事领域，人们则可以通过思维控制机器人或者智能设备完成一些危险的任务。

BCI获取大脑中的信号的方式有侵入和非侵入两种方式，侵入式需要通过手术将获取信号的电极放入测试者的脑中，这种方式的优点是获取的信号更精确不会有过多的干扰，缺点就是会有风险而且成本也会比较高。非侵入式采用电极帽在头表皮获取信号，这种方式有便携、安全、成本低的优点，带来的缺点就是信号间的干扰比较大。本发明的研究使用的是非侵入的方式，这也是现在主流的获取大脑信号的方式。

可以使用头皮电极记大脑中神经元活动的细胞内外电流的变化，这就是脑电信号(EEG)，EEG是现在广泛使用的研究大脑潜在机制最常用的技术。EEG在采集时因为使用的非侵入的方式，容易受到其它信号的干扰，例如心电、肌电、眼电的干扰，所以EEG的信号需要进行数据处理，尽量减少这些额外信号的干扰，除此之外，空间分辨率低也是其缺点，但是它也有着其它信号难以比拟的高时间分辨率的优点。近红外信号(fNIRS)是利用脑组织对不同波长的近红外光的吸收率的差异，由此计算出大脑中的氧合血红蛋白变化量(HbO)和脱氧血红蛋白变化量(HbR)的含量，从而反应出大脑中的思想变化，相较于EEG，fNIRS具有高空间分辨率的优点，但是由于人的思想变化导致的血液的变化会有一定的延迟时间，所以不如EEG那样具有很高的时间分辨率。传统的BCI大多是采用单模态分析处理运动想象，而本发明采用的是将EEG和fNIRS信号结合的方式进行多模态分析处理，这样就能同时利用两种信号的优点，同时具有很高的时间和空间分辨率，对大脑中的想法分类的也就会更加准确。虽然也有别的信号结合的方式，例如脑磁图(MEG)和EEG的结合等，但是由于两者信号之间在采集时相互会干扰，所以仍然效果不是那么好，还有改进的空间。而EEG和fNIRS的信号采集中，因为是电信号和光信号，一般不会相互干扰，且设备轻便，实验成本相对来说较低。

发明内容