[发明专利]一种基于脑机模态共空间的情绪识别方法

说明书

本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和脑电模态的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机模态共空间的情绪识别方法”。

技术领域

本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于脑机模态共空间的技术用于情绪识别的方法。

背景技术

脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。多模态情感分析是一个活跃的研究领域，它利用多模态信号对用户生成的视频、音频以及文本等进行情感理解，解决这一任务的主要方法是开发多模态融合技术。基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutional neural network，CNN)和递归神经网络(recursive neural network，RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，CNN的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。

基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号的情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂烦琐的数据预处理过程。

发明内容

本发明的一个目的是针对现有技术的不足，提出一种基于脑机模态共空间的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习得到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和EEG模态之间的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。

本发明提供一种基于脑机模态共空间的情绪识别方法其具体步骤如下：

步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。

步骤2、针对图像模态数据提取图像模态初级表征。针对脑电模态数据提取脑电模态初级表征。

步骤3、构建特征提取模型。