[发明专利]一种串并结合的多模式情感信息融合与识别方法

摘要

本发明公开了一种串并结合的多模式情感信息融合与识别方法，属于情感识别技术领域。主要包括情感信号获取；情感信号预处理；情感特征参数提取；特征参数融合与识别；本发明首先将提取的语音信号和面部表情信号特征参数进行融合，获得串行特征向量集，然后通过有放回的抽样获得M个并行的训练样本集，并利用Adaboost算法训练获得各子分类器。再采用双误差异性选择策略来度量两两分类器之间的差异性，最后运用多数投票原则进行投票，得到最终识别结果，实现对高兴、愤怒、惊奇、悲伤和恐惧五种人类基本情感进行识别。该方法充分发挥了决策层融合与特征层融合的优点，使整个情感信息的融合过程更加接近人类情感识别，从而提高了情感识别的准确性。

主权项

一种串并结合的多模式情感信息融合与识别方法，包括以下步骤：步骤1：情感信号获取；首先诱发情感，再同步获取相应情感状态下的语音信号和面部表情信号，并将二者绑定存储；步骤2、情感信号预处理；步骤2‑1、语音信号预处理；对获取的语音信号进行预处理，包括预加重、分帧加窗和端点检测；步骤2‑2、面部表情信号预处理；对获取的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理；步骤3、情感特征参数提取；步骤3‑1、语音情感特征参数提取；包括韵律特征和音质特征；步骤3‑2、面部表情特征参数提取；对预处理后的面部表情信号，采用Gabor小波变换来提取面部表情特征参数，具体过程如下：1)将预处理后的面部表情图像网格化；2)用Gabor小波和网格化后的图像进行卷积；3)取卷积结果的模的均值和方差作为面部表情特征参数；4)用主成分分析法PCA对上述面部表情特征参数进行降维处理，获得最终的面部表情特征参数；步骤4、特征参数融合与识别；步骤4‑1、将提取的语音信号特征参数和面部表情特征参数顺序组合起来，获得多模式特征向量，依此将原始训练样本集中所有多模式特征向量构成的集合称为串行特征向量集；步骤4‑2、通过对上述串行特征向量集有放回的抽样，获得若干个并行的训练样本集；步骤4‑3、利用Adaboost算法对各并行训练样本集分别进行训练，获得每个训练样本集上的强分类器；步骤4‑4、采用双误差异性选择策略来度量两两强分类器之间的差异性，并挑选出大于平均差异性的强分类器作为识别分类器；步骤4‑5、运用多数优先投票原则对上述识别分类器进行投票，得到最终识别结果；其特征在于：所述的步骤4‑4中度量两两强分类器Hi和Hj(i≠j)之间的差异性公式Div(i，j)如下：Div(i,j)=num00num00+num01+num10+num11]]>其中，numab代表两两强分类器分类正确/错误的样本数，a＝1和a＝0分别表示强分类器Hi分类正确和错误，b＝1和b＝0分别表示强分类器Hj分类正确和错误。