[发明专利]一种基于多模态融合的情绪分类识别方法

权利要求书

1.一种基于多模态融合的情绪分类识别方法，其特征在于，包括：

(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；

(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；

(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；

(4)将脑网络拓扑结构和节点的重要性进行融合；

(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。

2.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(2)中，相位锁定值PLV表示为：

Δφ(t)＝φ_x(jΔt)-φ_y(jΔt)

其中，Δφ(t)表示信号x(t)和y(t)在采样时间Δt内的相位差，φ_x(jΔt)，φ_y(jΔt)分别为两个信号x(t)和y(t)第j个样本的瞬时相位，N是每个信号的样本总数，i为虚部。

3.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(3)中，根据连接权重计算加权K-阶传播数，包括：

(31)根据连接权重矩阵得到节点之间的最短路径矩阵D，D(v_i，v_j)表示网络节点v_i到节点v_j的最短路径；

(32)计算脑网络在不同K值下的传播数，K-阶传播数表示为：

其中，V为脑网络中节点的集合，i≠j，且0≤i，j≤(M*M)；

(33)根据信息论中香农熵理论定义网络的K-阶结构熵：

K∈[0，d]

其中，n为网络中节点的总数，d为脑网络的最大直径；

(34)计算不同K值下的权重：

(35)将传播数与权重相乘进行求和：

其中，S是结构熵归一化后的结果。表示为：

(36)对进行排序，得到各个网络节点的重要性。

4.根据权利要求3所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(4)中，脑网络拓扑结构和节点的重要性进行融合，具体为：

将基于PLV生成的M*M的脑网络矩阵展开成一维向量，然后与脑网络节点重要性的一维向量进行组合，将两种模态的特征拼接成一个一维向量的特征。

5.根据权利要求4所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，特征选择步骤如下：

(51)计算所有训练数据集中所有特征的F-score，接下来根据F-score对所有特征进行降序排序，将重新排列后的特征集定义为F，并将特征集的子集F_sub初始化为空；将最佳分类结果定义为MaxR，也将其初始化为0；将最佳特征索引集合F_inx初始化为空；

(52)从F中选择F-score最高的特征向量，将所选的向量添加到F_sub中，将n设置为F_sub中单个样本的特征数；

(53)对F_sub进行10折交叉验证，并平均分类准确率为μ；

(54)如果μ比MaxR大，则用μ替换MaxR，并将F_inx作为F_sub的特征索引；

(55)重复步骤(52)-(54)直到n＞D，D为特征的总数；经过上述步骤，能够选择出最佳的特征组。

6.根据权利要求5所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(5)中，对整个数据集情绪分类包括：

为了验证分类结果的随机性，采用10折随机交叉验证方法来评估分类性能，10折交叉验证重复10次，以平均分类准确性作为评价指标；

(56)将整个数据集分成10个子集，取9个作为训练集，剩余的作为测试集；

(57)根据F_inx中的索引选择最优的特征组合；

(58)利用训练集中的最优特征对SVM/GELM进行训练；

(59)利用测试集中的最优特征进行分类，具体分类包括正向情绪、中性情绪和负向情绪三种；

(510)重复步骤(56)～(59)十次，计算平均分类准确性。