[发明专利]基于增强卷积和空时LSTM网络的双模态情感识别方法

说明书

本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。

技术领域

本发明涉及一种基于表情和姿态双模态结合的情感识别方法，属于情感计算技术领域。

背景技术

随着人工智能和情感计算技术在学术界和工业界的快速发展，情感识别技术也得到越来越广泛的关注和认同，尤其是在智能人机交互领域，情感识别技术将在人和计算机之间的智能感知和识别方面扮演非常重要的作用。过去的情感识别技术大多数都是只考虑人的单个通道情感信息，但近年来基于多通道情感信息的双模态和多模态情感识别技术得到了快速的发展并在智能人机交互中取得了更好的识别效果，尤其是基于表情和姿态双通道情感信息的双模态情感识别。基于表情和姿态的双模态情感识别通过从人的面部表情和身体姿态两个通道获得更加丰富和相关的信息并进行融合，从而提高情感识别的可靠性。

公开号为CN106295568A公开了一种基于表情和行为双模态的人类自然情感识别方法，该专利首先将提取的人体躯干运动特征与事先建立的人体躯干运动特征进行匹配比对，获得情感分类结果，然后从事先建立的人脸表情特征库找出去提取的人脸表情特征相匹配的人脸特征，输出对应的情感分类结果。该方法最大的问题是无法提取有效的人体躯干运动特征，难以建立有效的人体躯干运动特征库和人脸表情特征库。

发明内容

发明目的：针对现有技术的不足，本发明目的在于提出一种基于立方体Attention增强卷积和空时LSTM网络的双模态情感识别方法，对现有深度神经网络进行部分改造和结合，为提高计算机识别人类情感的正确率提供一种新方法。

技术方案：本发明是一种基于立方体Attention增强卷积和空时LSTM网络的双模态情感识别方法，包含以下步骤：

(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；

(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；

(3)构建出基于立方体Attention的增强卷积和空时LSTM的结合网络，包含三个处理单元如下：

(3.1)跨接立方体Attetion的VGG16的5个卷积单元。VGG16由5组卷积层组成，每组卷积层包括了2个或者3个卷积层以及1个池化层，为了简化表示使用CONV1、CONV2、CONV3、CONV4和CONV5五个卷积模块来简单表示VGG16网络。其中CONV1和CONV2分别含有两个卷积层和一个最大池化层，其参数分别如下所示：

CONV1:f＝3,p＝1,s＝1,d＝64

CONV2:f＝3,p＝1,s＝1,d＝128

Maxpooling:f＝2,s＝2

其中f表示卷积核或池化的大小,p为填充值,s表示卷积核或池化的步长,d表示卷积核数量。

在CONV3和CONV4个卷积模块上分别跨接一个立方体Attention模块用于强化提取兴趣区域的特征。两个卷积模块中的卷积层和池化层参数如下所示：

CONV3:f＝3,p＝1,s＝1,d＝64