[发明专利]一种串并结合的多模式情感信息融合与识别方法

权利要求书

1.一种串并结合的多模式情感信息融合与识别方法，包括以下步骤：

步骤1：情感信号获取；

首先诱发情感，再同步获取相应情感状态下的语音信号和面部表情信号，并将二者绑定存储；

步骤2、情感信号预处理；

步骤2-1、语音信号预处理；

对获取的语音信号进行预处理，包括预加重、分帧加窗和端点检测；

步骤2-2、面部表情信号预处理；

对获取的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理；

步骤3、情感特征参数提取；

步骤3-1、语音情感特征参数提取；

包括韵律特征和音质特征；

步骤3-2、面部表情特征参数提取；

对预处理后的面部表情信号，采用Gabor小波变换来提取面部表情特征参数，具体过程如下：

1)将预处理后的面部表情图像网格化；

2)用Gabor小波和网格化后的图像进行卷积；

3)取卷积结果的模的均值和方差作为面部表情特征参数；

4)用主成分分析法PCA对上述面部表情特征参数进行降维处理，获得最终的面部表情特征参数；

步骤4、特征参数融合与识别；

步骤4-1、将提取的语音信号特征参数和面部表情特征参数顺序组合起来，获得多模式特征向量，依此将原始训练样本集中所有多模式特征向量构成的集合称为串行特征向量集；

步骤4-2、通过对上述串行特征向量集有放回的抽样，获得若干个并行的训练样本集；

步骤4-3、利用Adaboost算法对各并行训练样本集分别进行训练，获得每个训练样本集上的强分类器；

步骤4-4、采用双误差异性选择策略来度量两两强分类器之间的差异性，并挑选出大于平均差异性的强分类器作为识别分类器；

步骤4-5、运用多数优先投票原则对上述识别分类器进行投票，得到最终识别结果；

其特征在于：所述的步骤4-4中度量两两强分类器H_i和H_j(i≠j)之间的差异性公式Div(i，j)如下：

Div(i,j)=num00num00+num01+num10+num11]]>

其中，num^ab代表两两强分类器分类正确/错误的样本数，a＝1和a＝0分别表示强分类器H_i分类正确和错误，b＝1和b＝0分别表示强分类器H_j分类正确和错误。

2.根据权利要求1所述的串并结合的多模式情感信息融合与识别方法，其特征在于：所述的步骤1中的情感信号获取时，是利用麦克风输入语音数据后，再通过采样量化获得相应的语音信号，而面部表情信号则是由摄像机拍摄获得。

3.根据权利要求2所述的串并结合的多模式情感信息融合与识别方法，其特征在于：所述的采样量化的采样频率为11.025kHz、量化精度为16bit；所述的由摄像机拍摄获得的每幅面部表情信号图像大小为256×256像素。

4.根据权利要求1所述的串并结合的多模式情感信息融合与识别方法，其特征在于：所述的步骤2-1中语音信号预处理时，其中预加重是通过一阶数字预加重滤波器实现，预加重滤波器的系数取值为0.93～0.97之间；分帧是以帧长256点的标准进行，并对分帧后的数据加汉明窗处理；端点检测是利用短时能零积法进行。