[发明专利]一种基于李群论的多模态情感识别方法

摘要

本发明公开了一种基于李群论的多模态情感识别方法，包括以下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子，基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序列构建ARMA模型获取ARMA模型间的距离，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群论进行多模态情感识别，提高模型进行情感识别的精确性。

主权项

1.一种基于李群论的多模态情感识别方法，其特征在于，包括以下步骤：步骤一，获取视频，并提取视频帧中图像区域的高斯型特征描述子，包括下述子步骤：（1.1）对于图像区域中的每个像素点而言，计算一个d维特征向量F(x,y)，该特征向量F(x,y)=[R,G,B,x,y,|Ix|,|Iy|,Ix2+Iy2],]]>其中d为正整数，R,G,B是像素点的颜色信息，x,y是像素点在水平和垂直方向的位置信息，|I_x|,|I_y|分别是像素点在水平方向和垂直方向的梯度信息，该图像区域所有像素点的特征向量构成图像的特征向量集合；（1.2）确定该图像区域对应的均值d维向量μ和协方差d维方阵，其中协方差矩阵F_k是图像区域中第k个像素点的特征向量，n是图像区域内像素点的总和，T表示矩阵的转置。（1.3）基于步骤（1.1）和（1.2）的结果并结合李群论构建高斯型特征描述子；步骤二，基于步骤一中得到的高斯型特征描述子，对视频中的图像区域进行跟踪，包括下述子步骤：（2.1）在视频的第一帧中选取脸部区域、手部区域和人体区域；（2.2）根据选取的脸部区域、手部区域和人体区域结合高斯型特征描述子构建跟踪模版；（2.3）根据构建的跟踪模版，利用粒子滤波方法对脸部区域、手部区域和人体区域进行跟踪，根据跟踪结果更新跟踪模版，并记录跟踪结果，以得到脸部区域、手部区域和人体区域对应的视频子序列X，该视频子序列的长度为b；；步骤三，根据步骤二得到的视频子序列构建ARMA模型；步骤四，获取ARMA模型间的距离；具体包括以下子步骤：(4.1)根据ARMA模型的参数获取估计观测矩阵ObT=[CT,(CA)T,(CA2)T,...,(CAb)T];]]>（4.2）对于任何两个视频子序列对应的观测正交矩阵C₁和C₂，约束L为正定矩阵，在任何两个ARMA模型之间最短的欧氏距离可以表示为：D(X₁,X₂)²＝min_M||(C₁-C₂L)^T(C₁-C₂L)||_F＝min_M||C₁^TC₁-C₁^TC₂L-L^TC₂^TC₁+L^TC₂^TC₂L||_F＝min_M||I-C₁^TC₂L-L^TC₂^TC₁+L^T||L_F其中，‖‖_F代表Frobenius矩阵范式，I表示单位矩阵。（4.3）根据拉格朗日乘子法获得L=C₂^TC₁，即ARMA模型之间的距离可表示为：D(X₁,X₂)²＝||I-L^TL||_F；步骤五，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，具体包括以下子步骤：（5.1）构建核函数K(X₁,X₂)＝exp(-γD(X₁,,X₂))，其中γ是缩放常量；（5.2）基于此核函数，并利用SVM分类器，对人体、脸部和手部区域对应的视频子序列分别进行分类，以分别产生人体、脸部和手部的情感类别概率；步骤六，根据人体、脸部和手部的情感类别概率对人进行情感识别，具体包括以下子步骤：（6.1）SVM根据人体、脸部和手部的情感类别概率对每种情感状态得到一个后验概率，用p_mn表示，其中m=1,2,3分别代表人体特征、手部特征和面部表情，n=1，2，…8分别代表不同的情感状态；（6.2）根据后验概率利用加权决策准则确定最终的情感状态，具体为，加权准则分别对每种情感状态由三种特征得到的概率求加权平均值，取加权平均值最大的情感状态作为最终输出的情感状态，具体公式如下：f=argmaxn(Σm=1,2,3wmpmn)]]>其中用w₁、w₂和w₃分别表示人体运动特征、声音特征和面部表情对应的权值，f最大的情感状态作为最终输出的情感状态。