[发明专利]基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法

说明书

本发明公开了一种基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法，其步骤包括：1获取静态表情图片数据集和表情视频数据集，并对表情视频数据集进行预处理；2计算局部强化运动历史图LEMHI；3使用静态图片数据集预训练卷积神经网络VGG16模型；4使用LEMHI微调预训练完成的VGG16模型，得到LEMHI‑CNN模型；5将视频帧输入预训练完成的VGG16模型中提取空间特征；6将空间特征进行堆叠分片、池化后对LSTM神经网络模型进行训练，得到CNN‑LSTM模型；7将LEMHI‑CNN模型和CNN‑LSTM模型的识别结果进行加权融合即得到最终识别结果。本发明能显著提高视频情感识别率。

技术领域

本发明涉及到卷积神经网络，循环神经网络和分类判别，属于模式识别领域，具体地说是一种基于双流神经网络的视频情感识别方法。

背景技术

传统的人机交互，主要通过键盘、鼠标、屏幕等方式，只追求方便和准确，无法理解和适应人们的情绪和心境。如果没有这种理解和表达情感的能力，计算机很难具有类似人一样的智能。情感识别是赋予计算机类似于人一样的观察、理解和产生各种情感特征的能力，最终使计算机能够像人一样能自然、亲切、生动地进行交流、相互。

国内外研究视频情感识别一般分为三个步骤：

(1)人脸表情图片序列截取。该步骤可以抛弃图像中无用的背景信息，使得相关研究集中到所需关注的核心区域中来。

(2)情感特征提取。使用3D卷积核提取时空特征，要想提取出时序距离更远的帧与帧之间的联系，则需要将2D卷积神经网络与循环神经网络相结合。

(3)视频情感的最终分类识别。目前常用的分类方法为在神经网络的输出层中加入Softmax层来生成最终的分类结果。

然而研究表明，针对面部表情识别、人脸检测等人脸相关问题，将原始图像作为输入，并不能很好地利用视频中的运动信息，使得网络的分类能力不高。并且由于表情视频数据集中数据量较少，很容易使得网络过拟合。

发明内容

本发明为克服现有技术的不足之处，提出一种基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法，以期能准确地识别出人的面部表情，判断出人的情感，从而能显著提高视频情感识别率，使得计算机能够像人一样能自然、亲切、生动地进行交流、相互。

本发明为解决技术问题采用如下技术方案：

本发明一种基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法的特点是按如下步骤进行：

步骤1、获取静态表情图片数据集和表情视频数据集，并对所述表情视频数据集进行预处理，得到预处理后的表情训练图片数据集，记为V＝{v₁,v₂,…,v_t,…,v_T}，v_t表示第t帧表情训练图片，且第t帧表情训练图片v_t的大小为Y×Y，1≤t≤T，T表示表情图片训练数据集V内的图片总帧数；

步骤2、计算局部强化运动历史图：

步骤2.1、计算第t帧表情训练图片v_t和第t+1帧表情训练图片v_t+1的绝对灰度差分图像D_t；

步骤2.2、利用dlib工具从第t帧表情训练图片v_t中检测人脸特征点，并生成第t帧特征点集合表示第t帧特征点集合中第n个特征点，1≤n≤N，N表示第t帧特征点集合S_t内的特征点总数；

获取所述第t帧特征点集合中第n个特征点周围的像素区域并作为特征点窗口，记为从而得到特征点窗口集合