[发明专利]基于多类核典型相关分析的多模态情感特征识别方法

权利要求书

1.一种基于多类核典型相关分析的多模态情感特征识别方法,其特征在于包括以下步骤：

(1)在包含多种模态数据的情感数据库中选取一定数量的样本；

(2)从上述样本数据中提取表情特征、语音特征和姿态特征，形成N*d₁的表情特征数据矩阵、N*d₂的语音特征数据矩阵和N*d₃的姿态特征数据矩阵，其中N为样本个数，d₁、d₂、d₃分别为每个样本的表情特征、语音特征和姿态特征的维度；

(3)将上述3个矩阵进行归一化和标准化处理，得到矩阵X₁、X₂、X₃，矩阵X₁、X₂、X₃中的数据都是归一的符合标准正态分布；

(4)使用多类核典型相关分析方法将多个模态的特征进行融合，得到融合后的特征；

(5)将融合后的特征放入支持向量机中进行情感识别。

2.根据权利要求1所述的基于多类核典型相关分析的多模态情感特征识别方法，其特征在于：步骤(2)中提取表情特征的方法为，先使用matlab的AAM算法程序检测出样本中人脸区域并裁剪出来，再将所裁剪的人脸部分图片重新规划成统一的尺寸，使用密集sift特征算法，计算得到d₁维的sift特征，得到N*d₁的表情特征数据矩阵。

3.根据权利要求1所述的基于多类核典型相关分析的多模态情感特征识别方法，其特征在于：步骤(2)中提取语音特征的方法为，使用工具opensmile中的emobase2010.conf特征集提取语音特征，用python对每段原始音频数据提取d₂维的音频特征，得到N个文本格式的音频数据特征文件，之后使用matlab去除文件中的说明部分并进行格式的转换与所有数据的合并，得到N*d₂的语音特征数据矩阵。

4.根据权利要求1所述的基于多类核典型相关分析的多模态情感特征识别方法，其特征在于：步骤(2)中提取姿态特征的方法为，使用matlab的lbptop算法程序，提取数据库中的全身视频图片帧之间的关联信息，对于一帧的图像进行分块，使用lbotop算法程序计算每张图片的特征，得到N个d₃的特征数组，再另外使用matlab程序将其按样本顺序合并，最终获得N*d₃的姿态特征数据矩阵。

5.根据权利要求1所述的基于多类核典型相关分析的多模态情感特征识别方法，其特征在于：步骤(3)中进行归一化和标准化处理的过程为：

(1)对所述3个矩阵进行归一化处理，即将每个样本的特征值都映射到区间[-1,1]中，最大值对应1，最小值对应-1；

(2)对特征值进行零均值标准化操作，即将每个样本的特征值减去该样本的均值后，除以该样本数据的标准差，得到的样本特征值遵循标准正态分布；

(3)对经上述标准化处理后的数据再进行归一化处理，得到归一化后的矩阵表情特征数据矩阵X₁、语音特征数据矩阵X₂和姿态特征数据矩阵X₃。

6.根据权利要求1所述的基于多类核典型相关分析的多模态情感特征识别方法，其特征在于步骤(4)中融合的步骤是：

(1)建立投影方向Ψ₁,Ψ₂,Ψ₃，使得之间获得最强的相关性，即使下列表达式的和最大：

求解出和最大时的投影方向Ψ₁,Ψ₂,Ψ₃；

(2)得到融合后的特征