[发明专利]一种基于深度领域自适应的脑电情绪识别方法及系统

权利要求书

1.一种基于深度领域自适应的脑电情绪识别方法，其特征在于，包括：

获取待识别的脑电信号；

利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断；

所述识别模型训练包括：将微分熵特征输入至跨被试图卷积神经网络中，提取脑电信号通道之间的拓扑结构特征，获取左脑和右脑之间在情绪表达上的模式关系并进行整合；利用预设的softmax分类器根据整合的信息进行情绪类别判断并且计算出相应的分类损失和自适应损失，不断优化网络参数，直至损失最小，得到最终的训练好的识别模型；

所述将微分熵特征输入至跨被试图卷积神经网络中，提取脑电信号通道之间的拓扑结构特征，具体包括：

对邻接矩阵A进行初始化，图卷积中的邻接矩阵A用来表示通道之间的连接程度；其中邻接矩阵A含有自循环，A_i,i＝1，i＝1,2,...,n；该邻接矩阵A是自适应可学习的，通道的连接关系是和各个电极之间的距离有关系，所以该邻接矩阵被初始化为如下大小：

其中，d_i,j表示的是电极i和电极j之间的物理距离，i,j＝1,2,...,n，δ是一个用于校准的常量；

特征变换：将微分熵投入3层图卷积网络，每层的特征提取过程表示为：

H^(k+1)＝f(H^(k),A)＝AH^kW^k；

其中，H^k表示图卷积网络k层的输入，W^k表示该层的权重；对于第一层网络，其输入H⁰＝X，X表示的是原始微分熵特征；

特征传播：特征传播在特征变换之后，对于这个层的每个节点x_i的状态由以下公式得到：

其中，i＝1,2,...,n；

上述的公式由矩阵形式来表示，如下所示：

其中，D表示邻接矩阵A的对角矩阵，归一化的邻接矩阵能够保证H^k+1这层的节点特征过大；

网络输出：从原始微分熵特征X到k层网络的输出结果表示为：

Z＝S^(k)XW；

其中，W为每个网络层的权重累乘，W＝W⁰W¹...W^k；

所述获取左脑和右脑之间在情绪表达上的模式关系并进行整合，具体包括：

利用卷积层挖掘微分熵的局部信息和空间信息；在图卷积和一维卷积之间有线性变换，通过该线性变换，能够将微分熵特征映射到高维空间中；公式如下：

Z＝ZW′；

其中，W′∈R^d×d′，表示的是线性变换矩阵参数，从而变换后Z会被作为接下来可分离卷积的输入；

在可分离卷积层，使用大小为(m,1)的卷积核对输入Z进行时间卷积，通过可分离卷积挖掘出特征的局部信息，输出如下：

设置左通道核和右通道核以提取左脑和右脑的模式关系，通道核的大小和通道的数量有关，左通道核和右通道核的大小均为信号通道数的一半，通道核的大小均为(0.5×n，1)，其中n表示为脑电通道个数，因此通过该网络层的输出表示为：

设置大小为[2,1]的一维卷积核来整合左脑和右脑的特征输出，将二维特征矩阵输出为一维特征向量：

所述利用预设的softmax分类器根据整合的信息进行情绪类别判断并且计算出相应的分类损失和自适应损失，不断优化网络参数，直至损失最小，具体包括：

在全连接层对图卷积网络和卷积神经网络得到的特征进行预测，softmax分类器是logistics回归模型基础上的扩展；通过引入输出权重矩阵对于每个类型Y_i，其预测大小根据如下公式算出：

计算网络损失函数：

将DEAP中的标签进行转换，以概率形式表示被唤醒的程度；

针对二分类的标签，其唤醒程度表示为：

对于四分类标签，其唤醒程度计算如下：

其后，利用计算好的唤醒程度与预测输出计算损失函数；

计算分类损失函数：训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式：

计算自适应损失函数：测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据联合计算得到自适应损失函数，借助Coral损失函数，其计算公式如下：

其中，是训练集的协方差矩阵，是测试集的协方差矩阵，表示的是矩阵F-范数的平方；

基于跨被试的可分离卷积图神经网络的情绪识别方法的损失函数表示为上述计算得到的分类损失函数、自适应损失函数之和；另外，为了防止图卷积神经网络的过拟合，这里对其邻接矩阵加入L1正则化；损失函数计算公式如下所示：

其中，所述跨被试图卷积神经网络包括图卷积层、局部信息卷积层、半球卷积层以及自适应层；其中，图卷积层用于提取脑电信号通道拓扑结构特征；局部信息卷积层用于利用一维卷积核提取特征的局部信息；半球卷积层用于使用空间卷积核来学习左右脑之间的模式关系特征；自适应层用于计算优化网络参数的损失函数；

优化网络参数的损失函数表示为分类损失函数和自适应损失函数；其中，以训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式；测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据，借助Coral损失函数，联合计算得到自适应损失函数。