[发明专利]一种基于脑-机协同智能的表情识别方法

权利要求书

1.一种基于脑-机协同智能的表情识别方法，其特征在于该方法包括以下步骤：

步骤1.获取数据：

采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；

步骤2.数据预处理

步骤3.脑电情感特征提取：

对步骤2预处理后的脑电信号采用多个门控循环单元模型提取脑电情感特征；

步骤4.图像视觉特征提取：

预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型来提取；

步骤5.特征映射：

针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；

对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R²；在多元回归分析中，其表达式如下：

其中，y_i表示真实的脑电情感特征值，表示根据回归方程Y＝RF(X)预测的脑电情感特征值，表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维；

步骤6.表情分类：

在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征x_i得到对应的预测脑电情感特征采用K-近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征距离最近的表情类别属性，即为x_i对应的真实表情类别属性。

2.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤2具体包括如下：

脑电数据：对各段原始脑电信号均进行数据预处理，包括去伪迹和带通滤波；

表情图像数据：对上述原始表情图像调整大小，并对其像素值进行归一化处理。

3.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤3具体是每个门控循环单元结构中包含了两个门，t时刻的更新门z_t和重置门r_t，给定t时刻的脑电输入e_t和该时刻隐藏层的状态h_t，满足以下等式：

r_t＝σ(W_r·[h_t-1,e_t])

z_t＝σ(W_z·[h_t-1,e_t])

其中σ是激活函数，[]表示向量连接，*是矩阵元素乘法，W_r,W_z和W_h分别是重置门权重矩阵、更新门权重矩阵和隐藏层的状态权重矩阵；更新门z_t用于控制前一时间的状态信息进入当前状态的程度；重置门r_t用于控制在时间t-1忽略状态信息的程度；

该多个门控循环单元模型包含两层堆叠的门控循环单元，第一层是由多对多模式的256个神经元节点组成，第二层是多对一模式的128个神经元节点组成，后连接一个soft-max层；将第二层门控循环单元的最后一个单元隐藏节点状态输出作为脑电情感特征Y。

4.如权利要求1所述的一种基于脑-机协同智能的表情识别方法，其特征在于步骤4具体是神经网络模型包含两层卷积、两层最大池化，一个全连接层和最后的soft-max层；其中全连接层包含了256个神经元节点，并将该层的输出作为提取的图像视觉特征X。