[发明专利]一种基于注意力机制的端到端脑电情感识别方法

权利要求书

1.一种基于注意力机制的端到端脑电情感识别方法，其特征在于，包括以下步骤：

步骤1：脑电信号预处理；

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；

对脑电样本切片中的每个导联，分为5个不同波段计算功率谱密度和微分熵特征，将功率谱密度和微分熵特征构成矩阵形成脑电信号特征；

步骤2：构建基于脑电信号的情感分类模型，包括基于注意力机制的卷积神经网络和基于注意力机制的LSTM网络两部分；

步骤2-1：基于注意力机制的卷积神经网络；

所述基于注意力机制的卷积神经网络包括波段注意力模块和导联注意力模块；

步骤2-1-1：将脑电信号特征输入波段注意力模块，首先进行池化，再将池化后的一维特征作为卷积神经网络的输入，卷积神经网络的输出再经过Softmax函数；波段注意力模块利用频率波段间的特征关系，生成波段注意力权重向量，公式表示为：

W_b(E)＝σ(f(Pool(E)))

其中，E表示脑电信号特征，Pool(.)表示池化，f(.)表示卷积神经网络，σ(.)表示Softmax函数；

步骤2-1-2：将波段注意力权重向量输入导联注意力模块，利用脑电能量的空间关系生成导联注意力矩阵，导联注意力矩阵为一个二维方阵；

首先对波段注意力权重向量进行一维池化操作，将池化后的特征值按导联在脑区的原有位置拼成一个二维方阵，再用卷积核对二维方阵作卷积操作，用padding和步长保证导联维度的方阵大小不变；导联注意力矩阵的计算公式为：

W_C(W_b)＝σ(filter(Pool(W_b)))

其中，filter(.)表示卷积操作；

步骤2-1-3：再将导联注意力矩阵和脑电信号特征相加，得到脑电信号短时特征：

W_f＝(E+W_C(W_b(E)))

步骤2-2：基于注意力机制的LSTM网络；

在LSTM网络中加入时序注意力模块，用于获取脑电信号时序上下文关系；

定义Q^t为t时刻脑电样本的特征向量，Q＝(Q¹,...Q^t,...Qⁿ)为单个样本的特征集合，n表示单个样本内的切片个数，即短时特征个数；定义K＝Q＝V，K和V分别为键名和脑电特征的映射；

将Q、K、V利用线性投影到多个子空间中，并在每一个子空间计算时序上不同时刻的注意力权值，并加权得到整体样本的特征向量，最后将整个样本的特征向量再次线性投影得到最后的特征表示；整个时序注意力模块的计算公式如下：

Q＝QW^(T)Q

K＝KW^(T)K

V＝VW^(T)V

Attention(Q,K,V)＝AV

其中，Q为加权后的脑电信号特征W_f；W^(T)Q,W^(T)K,W^(T)V分别表示查询矩阵、K矩阵和键值矩阵；T表示矩阵转置，d_k是一个常数；

将步骤2-1-3得到的脑电样本的短时特征输入基于注意力机制的LSTM网络，得到脑电样本的长时特征；

步骤2-3：前向传播模块；

前向传播模块包括两个线性映射和一个非线性激活函数，计算公式如下：

Cls(x)＝Softmax((xW₁+b)+b)

其中x表示脑电样本的长时特征，其中W₁、b是神经网络的参数，W₁表示神经元权重，b表示偏置；

将脑电样本的长时特征输入前向传播模块，输出对脑电信号的情感分类结果；

步骤3：对基于脑电信号的情感分类模型进行训练，训练完成得到最终的情感分类模型，用于对输入的脑电信号进行情感判别。

2.根据权利要求1所述的一种基于注意力机制的端到端脑电情感识别方法，其特征在于，所述对脑电信号进行切片的步骤如下：

设定3种不同的样本长度，并在样本内部对样本做不同切片长度和窗移的划分，将样本当成动态序列处理并进行切片；然后对样本切片中的每个导联，分别对5个不同波段计算功率谱密度和微分熵特征；将同一波段上的所有导联的特征值，按导联在脑电采集设备上的分布方式，放入一个9*9的二维方阵中，将5个导联的特征方阵按波段堆叠，拼成三维的5*9*9矩阵作为情感分类模型的输入。