[发明专利]一种基于脑-机协同智能的表情识别方法

说明书

本发明涉及一种基于脑‑机协同智能的表情识别方法。本发明主要采用两层卷积神经网络提取人脸表情的图像视觉特征，以及多个门控循环单元提取观看表情时诱发的脑电情感特征，并通过随机森林回归模型建立两种特征之间的映射关系，最后采用K‑近邻分类器对回归模型得到的预测脑电情感特征进行表情的分类。本发明包括数据采集、数据预处理、图像视觉特征提取、脑电情感特征提取、特征映射和表情分类。表情分类结果表明：采用预测的脑电情感特征得到了较好的分类结果。与传统的图像视觉方法相比，基于脑‑机协同智能的表情识别，是一种很有前景的情感计算方法。

技术领域

本发明属于情感计算领域中的表情识别领域，具体涉及一种基于脑-机协同智能的表情识别方法。

背景技术

一般来说，我们使用面部表情，身体姿势和声音音调来推断某人的情绪状态(如喜悦，悲伤和愤怒等)。就承载情感意义而言，面部表情是日常交流中主要的信息来源，它也是人机交互系统(HCIS)中的关键组成部分，如何有效地进行表情识别已经成为一个重要课题。

目前，面部表情识别(FER)方法主要从人类视觉角度出发，利用计算机技术从面部图像中提取相关特征来区分不同的表情，根据特征是人工设计还是神经网络生成可以分为两大类。

第一类是传统的表情识别方法。该类方法首先检测出人脸，然后通过提取几何特征、统计特征、频率域特征和运动特征等表情特征，最后采用支持向量机(SVM)，K-近邻(KNN)和Adaboost算法等对提取的特征进行分类，从而完成表情的识别。但这些特征易受外界因素(主要是光照、角度、复杂背景等)干扰，丢失一些重要的识别和分类信息，导致结果的精确性不高。

第二类是基于深度学习技术的表情识别方法。近年来，深度学习技术取得了突破性进展且在计算机视觉领域得到广泛应用。深度学习模型能对数据进行有效的特征提取，这是许多传统的机器学习模型所达不到的。因此，将深度学习引入到表情识别，可以使计算机深度理解人脸表情图像的表达意义。目前，大部分学者利用卷积神经网络实现表情识别。Liu等人提出了构建一个深度网络AUDN，它利用面部动作编码系统(FACS)的面部动作单元AU为特征，用卷积神经网络与多层受限制玻尔兹曼机进行特征提取，最后用支持向量机(SVM)做表情分类器。Mollahosseini等人提出了一个更复杂的神经网络模型，由两个卷积层组成，每个卷积层后面连接一个最大池，然后是四个Inception层，该模型在多个标准人脸数据集上取得了可观的效果。

通常，增加隐含层的层数可以增强网络的学习能力，使得学习到的特征更加贴近物体本身。但是，多层网络训练时间会增加，训练难度也会随之加大。同时，对训练样本的规模和多样性的要求也会变高，否则模型过拟合也会导致识别结果不理想。

事实上，人类对表情的识别几乎不需要训练，而且可以做到在有限的样本集上获得可靠的识别结果。研究表明，基于视听觉刺激诱发的生理信号(脑电信号、肌电信号、血压、心率和呼吸等)与情感语义存在隐含关系。其中，脑电信号中包含了大量的情感信息，这些信息在大脑皮层的不同区域随着情绪的变化而变化，具有高级的情感表达和良好的可分性。据此，本发明创新地提出了基于脑-机协同智能的表情识别方法，通过表情诱发的脑电信号与计算机技术捕捉到的视觉信息来实现表情的分类。它的意义在于利用人类的真实情感来提高机器在情感学习上的有效性，从而实现更人性化的情感计算。

发明内容

本发明针对现有技术的不足，提供了一种基于脑-机协同智能的表情识别方法。该方法是利用两层卷积神经网络(Two-layer Convolutional Neural Network,TCNN)提取表情的图像视觉特征，以及多个门控循环单元(Gated Recurrent Units,GRUs)提取脑电情感特征，采用随机森林回归模型建立图像视觉特征与脑电情感特征之间的映射关系，并通过K-近邻分类器对得到的预测脑电特征进行分类，从而完成表情的自动识别。

本发明所采用的技术方案：

1.获取数据：