[发明专利]基于视频图像面部表情和语音的多模态儿童情绪识别融合模型

说明书

本发明公开了一种基于视频图像面部表情和语音的多模态儿童情绪识别模型，涉及情绪识别领域。在视频图像模态上，将面部表情训练数据使用Gabor滤波增强人脸纹理，然后将纹理增强后面部表情训练数据在稠密卷积神经网络(D)上进行训练，得到视频图像模态情绪识别模型；在语音模态上，将训练数据集的GFCC特征与MFCC特征进行融合，再输入至语音模态模型中进行训练，语音模态使用CGRU网络，CGRU网络由卷积神经网络(CNN)、门控循环单元(GRU)网络融合；最后将CGRU与SVM连接，得到语音情绪识别模型。视频图像模态识别结果和语音模态识别结果依据权值准则在决策层进行融合，实现多模态儿童情绪识别。本发明提供的技术方案，有效的提高儿童情绪识别的准确率，有较强的推广价值。

技术领域

本发明涉及情感识别、语音处理和图像处理技术领域，具体为基于视频图像面部表情和语音的多模态儿童情绪识别融合模型。

背景技术

情绪是人内心世界的外在表达方式，是以个体意愿和需求为媒介的一种心理活动。所以，情绪调节与儿童青少年心理健康密切相关。但由于儿童在情感发泄以及应对不同情感作出合理举措的能力远不如成年人，所以对于监护人来说，难以发现儿童的情感状况，使得无法及时帮助儿童宣泄情绪以及进行情绪疏导。从而可能会导致幼儿和青少年产生情绪障碍，带来焦虑症，心理健康等问题。

当前比较好的情绪识别解决方案是采取人机交互的方式，即通过对儿童在不同情绪下的语音或面部表情进行分析筛选出有效特征，并使用这些特征来训练相关的模型，得到识别模型。但这些方法没有考虑到儿童声音较为较为尖锐，频率较高的问题，并且忽略了儿童面部纹理较成年人更加细微。因此，克服上述儿童情绪识别方法中存在的问题，是当前急需解决的。

发明内容

本发明的目的在于提供一种基于视频图像面部表情和语音的多模态儿童情绪识别融合模型，以解决上述背景技术中提出的问题。

为实现上述目的，本发明所采用的技术方案是：一种基于视频图像面部表情和语音的多模态儿童情绪识别融合模型，包括以下步骤：

步骤(A)，将面部表情训练数据经过Gabor增强人脸纹理；

步骤(B)，将稠密连接卷积神经网络在纹理增强后的面部表情训练数据上进行训练，以得到图像情绪识别模型；

步骤(C)，将语音数据训练数据集的MFCC特征与GFCC进行特征融合；

步骤(D)，将融合特征输入至卷积神经网络(CNN)和门控循环单元(GRU)网络融合构成模型CGRU以及SVM中进行训练，并将CGRU与SVM构成集成学习，得到语音情绪识别模型。

步骤(E)，将所述图像情绪识别模型以及所述语音情绪识别模型进行决策融合，得到双模态儿童情绪识别模型。

前述的基于视频图像面部表情和语音的多模态儿童情绪识别融合模型，步骤(A)，将将面部表情训练数据经过Gabor增强人脸纹理，包括以下步骤，

(A1)，构建Gabor滤波器，所述Gabor滤波器具有2，3，4，5，6，7这六个不同波长取值，每个波长的滤波器设计0，π/4，2π/4，3π/4这4个方向；

(A2)，将面部表情训练数据和构建的Gabor滤波器进行卷积，得到纹理增强后的Gabor图像；

前述的基于视频图像面部表情和语音的多模态儿童情绪识别融合模型，其特征在于：步骤(B)，将纹理增强后的面部表情训练数据输入至稠密连接卷积神经网络进行训练，以得到图像情绪识别模型，包括以下步骤：

(B1)，获取纹理增强后的训练样本，所述训练样本包括共5582张面部表情图像；

(B2)，使用稠密卷积神经网络对所述训练样本进行训练，以得到图像情绪识别模型，所述稠密卷积神经网络包含4个稠密块，每个稠密块包含的瓶颈层分别为6，12，24和16。