[发明专利]一种基于多模态卷积神经网络的情绪识别方法

权利要求书

1.一种基于多模态卷积神经网络的情绪识别方法，其特征在于，包括如下步骤：

步骤1：选用SEEDIV数据集作为实验数据集，进行情绪四分类实验；

步骤2：处理脑电信号，提取脑电信号的微分熵特征，并用线性动态系统方法进行特征平滑，得到特征提取后的脑电数据集；

步骤3：分别对眼动信号和脑电信号进行切割，并进行归一化处理；

步骤4：使用多模态卷积神经网络对多模态信号进行特征提取及分类，具体步骤为：

4-1.采用LSTM对眼动信号进行处理，选取最后一个时间序列特征作为最终提取的特征；

4-2.采用多尺度卷积核卷积神经网络进行脑电信号的特征提取，所述多尺度卷积核卷积神经网络包括输入层、卷积层、池化层、全连接层；其中，卷积层采用多尺度卷积核对输入信号进行不同维度的特征提取；池化层采用空间金字塔池化，目的是将卷积层输出的特征图大小转变成相同的尺寸；全连接层，将数据铺平为后续特征融合做准备；

4-3.在特征融合模块中，将眼动信号和脑电信号提取的两个特征矩阵进行拼接得到一个大的特征矩阵，然后经过全连接层，最后选用softmax作为分类器，连接的密集神经层的输出维数为4，每类一个单元，按照类别设置输出单元个数，即分类类别取决于输出神经元的数量。

2.根据权利要求1所述的一种基于多模态卷积神经网络的情绪识别方法，其特征在于：

所述的SEEDIV数据集包含了数包含了三个不同时间段的脑电信号以及相应的眼动信号，其中脑电信号根据国际10-20标准系统进行记录；

对采集的脑电信号进行预处理，原始脑电信号被降采样到200HZ，为了滤除噪声和去除伪影，用0-75HZ的带通滤波器对脑电信号进行处理，提取与观影时长相对应的脑电图片段，得到预处理后的脑电数据集；

眼动数据则提取了瞳孔直径、眨眼、注视、扫视和统计特征；其中，瞳孔直径包含水平和垂直方向上的两个直径，提取了在四个不同频段上的中值、标准差和微分熵特征；对于眨眼间隔，注视偏差度和注视时间三个参数，分别提取了他们的中值和标准差作为特征；对于扫视参数，提取了其扫视幅度和扫视时间间隔的标准差和中值；统计特征则包含了眨眼频率，注视频率，最大注视时间，全部的注视偏差，最大注视偏差，扫视频率，扫视幅度平均值，扫视时间间隔平均值及扫视延迟的平均值。

3.根据权利要求2所述的一种基于多模态卷积神经网络的情绪识别方法，其特征在于：所述步骤3中，将脑电信号切割成5*62大小的矩阵，眼动信号切割成大小为1*31的矩阵，每个被试的样本数为2495，其中训练集样本数为1997，测试集样本数为499。

4.根据权利要求2所述的一种基于多模态卷积神经网络的情绪识别方法，其特征在于：所述步骤4中，输入的眼动信号特征矩阵大小为1*31，选取最后一个时间序列特征作为最终提取的特征，输出的特征矩阵大小为1*64；

脑电信号输入的特征矩阵大小为5*62，采用三种不同尺寸的卷积核对特征矩阵进行卷积操作，尺寸分别为：5*5*1，5*3*1和5*1*1，最终输出的特征矩阵大小为1*384；

在特征融合模块中，将以上两个特征矩阵进行拼接得到一个大的特征矩阵，维度为1*448。