[发明专利]基于卷积神经网络的想象言语脑电信号解码方法

权利要求书

1.一种基于卷积神经网络的想象言语脑电信号解码方法，其特征在于，设计了能诱发受试者产生包含更多言语信息的脑电信号的想象言语范式，构建了多尺度卷积和膨胀卷积HS-STDCN卷积神经网络，该方法的步骤包括如下：

(1)诱发受试者产生想象言语：

(1a)通过屏幕向受试者展示至少8种不同目标类别的图片，诱导受试者产生与每种目标类别图片相对应的想象言语；其中，每种目标类别的图片至少有10张；

(1b)每次诱发过程从每一种目标类别图片的至少10张图片中随机抽取一张展示，受试者观察目标类别的图片时进行相应的想象言语任务；(1c)将所有目标类别图片各一次诱发过程组成一个单元，至少20个单元组成一个区块，至少10个区块组成整个想象言语脑电信号的诱发与采集过程；每种目标类别图片至少进行200次诱发过程；

(2)生成训练集和测试集：

(2a)采集每位受试者每种目标类别的想象言语脑电信号的样本数至少200个；

(2b)对每个样本进行预处理；

(2c)将每位受试者预处理后的样本按照8:2的比例分为训练集、测试集；

(3)构建一个由四个串联的模块组成的HS-STDCN卷积神经网络：

(3a)第1个模块包含依次串联的时间卷积层、批归一化层和相加层；时间卷积层设置有32个卷积核，其中包含一组8个大小均为1×63的卷积核、一组8个大小均为1×31的卷积核、一组8个大小均为1×19的卷积核、一组8个大小均为1×7的卷积核；所有卷积核的步长均设置为1，卷积后得到4组8通道的特征图；4组特征图经过批归一化层进行归一化；归一化后的4组8通道特征图送入相加层，每组之间对应的通道按元素进行相加，得到1组8通道特征图；

(3b)第2个模块包含依次串联的空间卷积层、批归一化层、ELU激活层、平均池化层；空间卷积核数量设置为16个，空间卷积层中的卷积核大小设置为1×C，C与脑电信号的采集通道数相同，卷积步长设置为1；平均池化层下采样滤波器尺寸设置为1×16；Dropout层的drop_rate设为0.2；

(3c)第3个模块包含两个相同的、依次串联的时间膨胀卷积单元；每个时间膨胀卷积单元包含两条并联的信息传输路径和与两条信息传输路径串联的合并层，其中一条信息传输路径包含依次连接的一维时间膨胀卷积层、批归一化层、ELU激活层、Dropout层、一维时间膨胀卷积层、批归一化层、ELU激活层、Dropout层；两个一维时间膨胀卷积层的卷积核个数均为16，大小均为1×3，前后两个一维时间膨胀卷积层的膨胀系数分别为1和2，卷积步长均设置为1；Dropout层的Dropout_rate设为0.3；另一条信息传输路径包含16个大小均为1×1的卷积核；两条信息传输路径的输出在合并层按元素相加；

(3d)第4个模块包含一个以softmax为激活函数层的全连接层；全连接层输出8种目标类别的分类置信度，选取置信度最大的类别作为最终分类输出类别；

(4)训练HS-STDCN卷积神经网络：

将训练集输入到卷积神经网络中，采用SGD算法迭代更新网络参数，直至交叉熵损失函数收敛为止，得到训练好的HS-STDCN卷积神经网络；

(5)输出想象言语脑电信号解码结果：

将采集到的同一受试者测试集送入到训练好的卷积神经网络中，进行前向传播，得到解码结果。

2.根据权利要求1中所述的基于卷积神经网络的想象言语脑电信号解码方法，其特征在于，步骤(2b)中所述对每个样本进行预处理的步骤如下：

第一步，使用1～98Hz带通滤波器对每个通道脑电信号进行滤波，去除噪声，再使用50Hz陷波器对每个通道脑电信号进行滤波，去除50Hz工频干扰；

第二步，将以1024Hz采样率采集的每个通道脑电信号降采样到256Hz；

第三步，截取每个通道脑电信号中目标类别图片展示开始到结束1s内的脑电信号。