[发明专利]一种基于脑-机协同智能的表情识别方法

摘要

本发明涉及一种基于脑‑机协同智能的表情识别方法。本发明主要采用两层卷积神经网络提取人脸表情的图像视觉特征，以及多个门控循环单元提取观看表情时诱发的脑电情感特征，并通过随机森林回归模型建立两种特征之间的映射关系，最后采用K‑近邻分类器对回归模型得到的预测脑电情感特征进行表情的分类。本发明包括数据采集、数据预处理、图像视觉特征提取、脑电情感特征提取、特征映射和表情分类。表情分类结果表明：采用预测的脑电情感特征得到了较好的分类结果。与传统的图像视觉方法相比，基于脑‑机协同智能的表情识别，是一种很有前景的情感计算方法。

主权项

1.一种基于脑‑机协同智能的表情识别方法，其特征在于该方法包括以下步骤：步骤1.获取数据：采用多通道脑电采集设备采集原始脑电信号，获取每张表情图像诱发的脑电信号，共获取到N段原始脑电信号；步骤2.数据预处理步骤3.脑电情感特征提取：对步骤2预处理后的脑电信号采用多个门控循环单元(GRUs)模型提取脑电情感特征；步骤4.图像视觉特征提取：预处理后原始表情图像的图像视觉特征X通过两层卷积神经网络模型(TCNN)来提取；步骤5.特征映射：针对步骤3提取的特征Y和步骤4提取的特征X，采用随机森林回归模型建立了两者之间的映射关系，将Y设为回归目标，回归方程记作Y＝RF(X)；对于回归方程Y＝RF(X)拟合的程度评估，采用决定系数R²(又名拟合优度)；在多元回归分析中，其表达式如下：其中，y_i表示真实的脑电情感特征值，表示根据回归方程Y＝RF(X)预测的脑电情感特征值，表示真实脑电情感特征的均值，SST为真实脑电特征的总平方和，SSE为真实脑电特征与预测脑电特征的残差平方和；i表示脑电特征中第i维特征值，一共有d维；步骤6.表情分类：在步骤5训练好的回归模型Y＝RF(X)上，对于任意的图像视觉特征x_i得到对应的预测脑电情感特征采用K‑近邻分类器在步骤3提取的真实脑电特征Y中找到与预测脑电特征距离最近的表情类别属性，即为x_i对应的真实表情类别属性。