[发明专利]一种基于脑机模态共空间的情绪识别方法

权利要求书

1.一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；

步骤2、针对图像模态数据提取图像模态初级表征；针对脑电模态数据提取脑电模态初级表征；

步骤3、构建特征提取模型

将图像模态初级表征和脑电模态初级表征分别作为特征X和特征Y；构建私有信息编码函数E_p、公共信息编码函数E_c和预测函数r＝G(h)；针对特征X和特征Y，使用私有信息编码函数E_p、公共信息编码函数E_c学习隐藏的模态公共信息模态私有信息模态公共信息模态私有信息公共信息编码函数E_c在两种模态中共享参数θ^c，私有信息编码函数Ep在两种模态中分配单独的参数采用连接函数将形成图像模态联合向量h_X,将、形成EEG模态联合向量h_Y, ；；

将最终的h_X、h_Y输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务；预测任务由函数r＝G(h)完成，r_X＝G_X(h_X)，r_X是对h_X的预测结果；

调整公共信息编码函数E_c和私有信息编码函数E_p，使得特征X对应的模态公共信息和特征Y对应的模态公共信息的空间分布相互靠近，整体误差L最小化；L＝L_task+αL_sim+βL_diff；其中，L_task为任务误差；L_sim为相似性误差；L_diff为差异性误差；α、β是决定每个正则化组件对整体误差L贡献的相互作用权值；

步骤4、情绪识别

利用私有信息编码函数E_p、公共信息编码函数E_c，分别对被识别图像中提取出的图像模态初级表征进行提取；所得的两个向量通过连接函数进行融合，得到融合向量；融合向量输入线性分类层，将线性分类层输出的信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。

2.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的相似性误差L_sim使用中心矩差度量来实现最小化；相似性误差L_sim的表达式为：

；

其中，CMD_K为中心矩差正则化器；中心矩差正则化器CMD_K被定义为CMD度量的经验估计；

；

其中，是样本X的经验期望向量，C_k(X)＝E((x-E(X))^k)是样本X的所有k阶样本中心矩向量；K是确定中心矩数目界限的参数。

3.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的差异性误差L_diff计算为：

；

其中，是弗罗比尼乌斯范数；分别由每个向量表示。

4.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的任务误差L_task通过交叉熵损失表达。

5.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：所述的私有信息编码函数E_p、公共信息编码函数E_c和预测函数r＝G(h)均使用全连接神经层实现。

6.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤2中通过图像模态初级表征提取器G_X提取特征；图像模态初级表征提取器G_X由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。

7.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤2中通过脑电模态初级表征提取器G_Y提取特征；脑电模态初级表征提取器G_Y由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。