[发明专利]基于卷积神经网络的想象言语脑电信号解码方法

说明书

本发明公开了一种基于卷积神经网络的想象言语脑电信号解码方法。该方法提出了一种用图片诱发受试者产生想象言语的流程，采用多尺度时间卷积和膨胀卷积构造卷积神经网络解码想象言语脑电信号。具体步骤包括：诱发受试者产生想象言语，生成训练集和测试集，构建卷积神经网络，训练卷积神经网络，输出想象言语脑电信号解码结果。本发明克服了现有技术诱发出的脑电信号包含想象言语信息较少，想象言语脑电信号解码方法采用单一尺度卷积核，解码中某些频段特征丢失，且脑电信号长时间的特征难以提取的问题，使得本发明提高了对想象言语脑电信号的分类准确率。

技术领域

本发明属于信息处理技术领域，更进一步涉及脑-机接口技术领域中的一种基于卷积神经网络的想象言语脑电信号解码方法。本发明可以解码人脑中产生想象言语时对应的脑电信号。

背景技术

想象言语是不依赖于发声器官而产生的大脑内部言语活动。虽然想象言语无法被肉眼直接观察到，但在大脑的言语功能区(布洛卡区和威尔尼克区)可以通过EEG脑电图观察到明显的高频活动。借助脑电信号采集和解码技术直接解码想象言语内容，为闭锁症患者提供了一种自然直观的外界交互方式。目前发音想象的诱发范式有视觉诱发、听觉诱发、视听结合诱发，但大多数诱发范式诱发出的脑电信号包含的想象言语信息不足以进行高效解码。目前对产生想象言语时脑电信号的解码方法主要有手工提取特征、机器学习方法和利用神经网络，但这些方法都无法有效地提取想象言语脑电信号特征，解码的精度都较低。

Lawhern V J在其发表的论文“EEGNet:A Compact Convolutional NeuralNetwork for EEG-based Brain-Computer Interfaces”(Journal ofneuralengineering,2018,15(5):056013)中提出了一个基于分类和解释的卷积网络(EEGNet)的脑电信号检测方法，采用了深度和分离卷积网络，封装特定脑电信号特征提取概念，从而构建了EEGNet模型。EEGNet模型从时间卷积开始学习频率滤波器，然后使用深度卷积分别连接到每个特征图，学习特定频率的空间滤波器。可分离卷积是深度卷积的组合，深度卷积分别学习每个特征图的综合时态，然后是逐点卷积，学习将最优的混合特征合并在一起。EEGNet模型引入深度和可分离的卷积网络封装特定脑电信号体征提取来检测脑电信号。该方法存在的不足之处是：卷积核的大小固定，不能有效提取特定频段的脑电信号特征信息，存在特征丢失的问题，而且脑电信号中长时间的特征无法被有效提取，降低了脑电信号解码的精度。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于卷积神经网络的想象言语脑电信号解码方法，用于解决脑电信号中包含的想象言语信息不足，传统卷积神经网络卷积核的大小固定，不能有效提取特定频段的脑电信号特征信息，存在特征丢失的问题。

实现本发明目的的思路是：设计想象言语实验范式，采用图片来诱发受试者产生想象言语脑电信号，使受试者脑电信号包含更多想象言语信息；在卷积神经网络中引入多尺度卷积与膨胀卷积，提取想象言语脑电信号多频段的特征，减少特征丢失的概率，实现想象言语脑电信号高效解码。

本发明的具体步骤如下：

(1)诱发受试者产生想象言语：

(1a)通过屏幕向受试者展示至少8种不同目标类别的图片，诱导受试者产生与每种目标类别图片相对应的想象言语；其中，每种目标类别的图片至少有10张；

(1b)每次诱发过程从每一种目标类别图片的至少10张图片中随机抽取一张展示，受试者观察目标类别的图片时进行相应的想象言语任务；；

(1c)将所有目标类别图片各一次诱发过程组成一个单元，至少20个单元组成一个区块，至少10个区块组成整个想象言语脑电信号的诱发与采集过程每种目标类别图片至少进行200次诱发过程；

(2)生成训练集和测试集：