[发明专利]基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法

摘要

本发明公开了一种基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法，其步骤包括：1获取静态表情图片数据集和表情视频数据集，并对表情视频数据集进行预处理；2计算局部强化运动历史图LEMHI；3使用静态图片数据集预训练卷积神经网络VGG16模型；4使用LEMHI微调预训练完成的VGG16模型，得到LEMHI‑CNN模型；5将视频帧输入预训练完成的VGG16模型中提取空间特征；6将空间特征进行堆叠分片、池化后对LSTM神经网络模型进行训练，得到CNN‑LSTM模型；7将LEMHI‑CNN模型和CNN‑LSTM模型的识别结果进行加权融合即得到最终识别结果。本发明能显著提高视频情感识别率。

主权项

1.一种基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法，其特征是按如下步骤进行：步骤1、获取静态表情图片数据集和表情视频数据集，并对所述表情视频数据集进行预处理，得到预处理后的表情训练图片数据集，记为V＝{v₁,v₂,…,v_t,…,v_T}，v_t表示第t帧表情训练图片，且第t帧表情训练图片v_t的大小为Y×Y，1≤t≤T，T表示表情图片训练数据集V内的图片总帧数；步骤2、计算局部强化运动历史图：步骤2.1、计算第t帧表情训练图片v_t和第t+1帧表情训练图片v_t+1的绝对灰度差分图像D_t；步骤2.2、利用dlib工具从第t帧表情训练图片v_t中检测人脸特征点，并生成第t帧特征点集合表示第t帧特征点集合中第n个特征点，1≤n≤N，N表示第t帧特征点集合S_t内的特征点总数；获取所述第t帧特征点集合中第n个特征点周围的像素区域并作为特征点窗口，记为从而得到特征点窗口集合步骤2.3、记第t帧表情训练图片v_t中任意一个像素点为v_t(x,y)，0≤x≤Y且0≤y≤Y；计算像素点v_t(x,y)与特征点窗口集合B_t中的每个特征点窗口的曼哈顿距离，并将最小曼哈顿距离记为d_t(x,y)；步骤2.4、利用式(1)得到像素点v_t(x,y)的特征点模板m_t(x,y)，从而得到第t帧表情训练图片v_t的特征点模板M_t：式(1)中，α表示阈值，β表示权值；步骤2.5、将特征点模板M_t与绝对灰度差分图像D_t做哈达玛积计算，得到强化后的差分图像E_t；步骤2.6、采用迭代法获取强化后的差分图像E_t的灰度阈值U：步骤2.6.1、求出差分图像E_t的最大灰度值和最小灰度值步骤2.6.2、求出最大灰度值和最小灰度值的均值，将均值设置为阈值U；步骤2.6.3、根据阈值U₀将差分图像E_t分为前景和背景；步骤2.6.4、分别求出前景和背景的平均灰度值；步骤2.6.5、求取前景和背景的平均灰度值之间的平均值步骤2.6.6、令平均值为阈值U，并重复步骤2.6.3执行，直到阈值U不再变化为止，从而得到灰度阈值；步骤2.7、利用灰度阈值U过滤差分图像E_t中未强化部分区域的运动变化，从而得到二值图像ψ_t，再利用式(2)更新局部强化运动历史图Η_t，从而得到局部强化运动历史图Η_T‑1：其中式(2)中，τ表示持续时间，δ表示衰退参数。步骤3、使用静态表情图片数据集对卷积神经网络模型VGG16进行预训练，得到预训练完成的卷积神经网络模型VGG16；步骤4、将局部强化运动历史图Η_T‑1输入所述预训练完成的卷积神经网络模型VGG16中用于对网络模型进行微调，得到微调后的卷积神经网络模型VGG16及LEMHI‑CNN网络的最终分类结果A；步骤5、提取空间特征：步骤5.1、从预处理后的表情训练图片数据集V中等间隔按序抽取Q帧表情训练图片，记为V′＝{v′₁,v′₂,…,v′_q,…,v′_Q}，v′_q表示抽取的第q帧表情训练图片，1≤q≤Q；步骤5.2、将抽取的Q帧表情训练图片依次输入所述预训练完成的卷积神经网络模型VGG16中用于逐帧提取空间特征，从而得到Q个空间特征{F₁,F₂,…,F_q,…,F_Q}，F_q表示抽取的第q帧表情训练图片v′_q的空间特征；步骤6、空间特征的堆叠分片、池化和模型的训练：步骤6.1、按照所设定的交叉步长δ将Q个空间特征{F₁,F₂,…,F_q,…,F_Q}进行堆叠分片处理，得到K片空间特征矩阵，记为{J₁,J₂,…,J_k,…,J_K}，J_k表示第k片空间特征矩阵，且第k片空间特征矩阵J_k包含个空间特征；步骤6.2、对第k片空间特征矩阵J_k进行池化操作，得到池化后的空间特征矩阵J′_k；从而得到池化后的K片空间特征矩阵{J′₁,J′₂,…,J′_k,…,J′_K}；步骤6.3、将池化后的K片空间特征矩阵{J′₁,J′₂,…,J′_k,…,J′_K}按时序输入到长短期记忆网络模型LSTM中，得到CNN‑LSTM网络的最终输出结果h；步骤6.4、将最终输出结果h输入Softmax多分类器中得到最终分类结果G；步骤7、利用式(3)对所述LEMHI‑CNN网络的最终分类结果A和CNN‑LSTM网络的最终分类结果G进行加权融合，得到最终识别结果I：I＝wA+(1‑w)G   (3)式(3)中，w为随机搜索方法所确定的决策权值，且0≤w≤1。