[发明专利]一种基于脑机跨模态迁移的情绪识别方法

权利要求书

1.一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；

步骤2、针对图像模态数据提取图像视觉特征；

步骤3、针对脑电模态数据提取脑电情感特征；

步骤4、构建将图像模态向量投影至脑电模态向量空间的特征转换器F；

将图像视觉特征和脑电情感特征分别作为特征X和特征Y；针对特征X和特征Y，使用编码函数学习隐藏的图像模态向量h_X、脑电模态向量h_Y；编码函数使用全连接神经层实现；

使用特征转换器F对图像模态向量h_X进行空间转换，得到学习图像跨模态特征t_X；通过调整特征转换器F，使得所得的图像跨模态特征t_X与脑电模态向量h_Y的空间分布不断接近，直到满足相似要求；

步骤5、情绪识别

针对被识别图像，使用编码函数学习隐藏的图像模态向量，并利用步骤4所得的特征转换器F对所得的图像模态向量进行转化；将转化得到的学习图像跨模态特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到被识别图像对应的情绪类别。

2.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤4中，通过最小化t_X与h_Y在空间分布上的总误差L来实现t_X与h_Y的空间分布的不断接近；总误差L表现为L＝L_task+αL_sim；其中，α是决定正则化组件对整体误差L贡献的作用权值；L_sim为相似性误差；L_task为任务误差；

相似性误差L_sim估计了两个模态的空间表示之间的差异；具体使用CORAL度量来实现这一目标；以t_X与h_Y的公共表示之间的CORAL损失作为相似性误差L_sim；

任务误差L_task估计了训练过程中的预测质量；具体使用标准的交叉熵损失来表达任务误差L_task。

3.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤4中，处理特征X和特征Y的编码函数共享参数θ。

4.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤2中通过图像视觉特征提取器G_X提取特征；图像视觉特征提取器G_X由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。

5.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤3中通过脑电情感特征提取器G_Y提取特征；脑电情感特征提取器G_Y由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。

6.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤1中所述图像模态数据的图像尺寸为32×32；脑电模态数据的通道数量为62，每个通道单位时间的记录数位500。

7.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：被识别的情绪类别共有七类，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。