[发明专利]一种基于李群论的多模态情感识别方法

说明书

技术领域

本发明属于情感识别领域，更具体地，涉及一种基于李群论的多模态情感识别方法。

背景技术

现有的情感识别方法，通产包括：人体、脸部等对象的跟踪、基于图像的情感分类、决策级融合等步骤。

对象跟踪从视频中跟踪目标得到它在每一帧中的位置。Ying Wu等使用两层的马尔科夫场来表示人体特征，进行人体跟踪。Dalal和Triggs采用方向梯度直方图来描述人的轮廓，通过使用不同位置和分辨率的窗口从图像中梯度方向直方图组合成特征向量，然后将特征向量输入支持向量机分类检测出人体并跟踪。Qiang Zhu等对Dalal等的方法进行改进，在计算方向梯度直方图时使用可变大小的块代替前者固定大小的块，使得性能有所改善。Pfinder系统通过特定的姿势分析出脸部、手、脚等位置,对每个区域用空间位置和颜色建模,然后用颜色对这些区域进行跟踪。其中如何抽取图像特征，建立跟踪模版，对跟踪对象进行准确跟踪是情感识别中一个重要问题。

情感模式挖掘从时间序列中挖掘出代表基本情感的运动特征模式。目前，从时间序列中进行数据挖掘有两类方法：一类是先对时间序列提取更高级的特征向量，再对特征向量进行分析。如Daniel Weinland等人提出的行为识别方法。但是，提取高层特征的过程通常伴随着信息的丢失，寻找一种合适的高层特征也需要先验知识。另一类方法是采用面向时间序列的机器学习方法，直接对时间序列进行挖掘，主要有隐式马尔科夫模型等方法。但是人体运动特征中的情感模式比较隐蔽，如何恰当地设计模型及其度量，是情感识别的一个难点。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于李群论的多模态情感识别方法，其根据视频中所包含的人体姿态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群论进行多模态情感识别，提高模型进行情感识别的精确性。

为实现上述目的，本发明提供了一种基于李群论的多模态情感识别方法，包括以下步骤：

步骤一，获取视频，并提取视频帧中图像区域的高斯型特征描述子，包括下述子步骤：

（1.1）对于图像区域中的每个像素点而言，计算一个d维特征向量F(x,y)，该特征向量F(x,y)=[R,G,B,x,y,|Ix|,|Iy|,Ix2+Iy2],]]>其中d为正整数，R,G,B是像素点的颜色信息，x,y是像素点在水平和垂直方向的位置信息，|I_x|,|I_y|分别是像素点在水平方向和垂直方向的梯度信息，该图像区域所有像素点的特征向量构成图像的特征向量集合；

（1.2）确定该图像区域对应的均值d维向量μ和协方差d维方阵，其中协方差矩阵F_k是图像区域中第k个像素点的特征向量，n是图像区域内像素点的总和，T表示矩阵的转置。

（1.3）基于步骤（1.1）和（1.2）的结果并结合李群论构建高斯型特征描述子；

步骤二，基于步骤一中得到的高斯型特征描述子，对视频中的图像区域进行跟踪，包括下述子步骤：

（2.1）在视频的第一帧中选取脸部区域、手部区域和人体区域；

（2.2）根据选取的脸部区域、手部区域和人体区域结合高斯型特征描述子构建跟踪模版；