[发明专利]一种串并结合的多模式情感信息融合与识别方法

说明书

技术领域

本发明属于情感识别技术领域，具体涉及一种串并结合的多模式情感信息融合与识别方法。

背景技术

近年来，情感识别的研究工作在人机交互领域中已经成为一个热点问题。国内外情感识别的研究主要有两大类，一类是单模式情感识别，另一类是多模式情感识别。所谓单模式情感识别为只从单一信息通道中获得当前对象的情感状态，如从语音信号、面部表情信号或生理信号(血压、体温、脉搏、心电、脑电、皮肤电阻等)等。虽然单一地依靠语音信号、面部表情信号或生理参数来进行情感识别的研究取得了一定的成果，但却存在着很多局限性，因为人类是通过多模式的方式表达情感信息的，它具有表达的复杂性和文化的相对性。比如，在噪声环境下，当某一个通道的特征受到干扰或缺失时，多模式方法能在某种程度上产生互补的效应，弥补了单模式的不足，所以研究多模式情感识别的方法十分必要。如Wagner等通过融合肌动电流、心电、皮肤电阻和呼吸4个通道的生理参数，进行了多模式情感识别，获得了较高的融合识别率。Kim等融合了肌动电流、心电、皮肤电导和呼吸4个通道的生理参数，并采用听音乐的方式来诱发情感，实现了对积极和消极两大类情感的高效识别。东南大学的赵力、黄程韦等通过融合语音信号与心电信号进行了多模式情感识别，获得较高的融合识别率。但是上述方法均为与生理信号相融合，而生理信号的测量必须与身体接触，因此对于此通道的信号获取有一定的困难，所以语音和面部表情作为两种最为主要的表征情感的方式，得到了广泛的研究。如Busso等分析了单一的语音情感识别与人脸表情识别在识别性能上的互补性，并分别讨论了在决策层融合与在特征层融合的效果。Hoch等通过融合语音与表情信息，在车载环境下进行了正面(愉快)、负面(愤怒)与平静等3种情感状态的识别，但该方法只是通过用加权线性组合的方式在决策层进行了融合。从一定意义上说，不同信道信息的融合是多模式情感识别研究的瓶颈问题，它直接关系到情感识别的准确性。目前，融合多模式情感信息的方法主要有2种：决策层的融合和特征层的融合。这两种方法各有优缺点，决策层的融合技术考虑了不同模式对于情感识别重要性的不同，因此他们通过主观感知实验给不同的模式赋予不同的权重，但是这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程，能更好地利用统计机器学习的技术，但是这种方法没有考虑到识别不同情感时，不同模式重要性的不同，因此这种方法不能最大程度地发挥多模式融合的优势。可以看出，目前对于情感信息融合技术的研究尚处于起步阶段，相应的基础理论和方法框架仍很欠缺。

发明内容

针对上述现有技术存在的不足，本发明提供一种串并结合的多模式情感信息融合与识别方法。

本发明的技术方案是：

一种串并结合的多模式情感信息融合与识别方法，包括以下步骤：

步骤1：情感信号获取；

首先诱发情感，再同步获取相应情感状态下的语音信号和面部表情信号，并将二者绑定存储；

步骤2、情感信号预处理；

步骤2-1、语音信号预处理；

对获取的语音信号进行预处理，包括预加重、分帧加窗和端点检测；

步骤2-2、面部表情信号预处理；

对获取的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理；

步骤3、情感特征参数提取；

步骤3-1、语音情感特征参数提取；

包括韵律特征和音质特征；

步骤3-2、面部表情特征参数提取；

对预处理后的面部表情信号，采用Gabor小波变换来提取面部表情特征参数，具体过程如下：

1)将预处理后的面部表情图像网格化；

2)用Gabor小波和网格化后的图像进行卷积；

3)取卷积结果的模的均值和方差作为面部表情特征参数；

4)用主成分分析法PCA对上述面部表情特征参数进行降维处理，获得最终的面部表情特征参数；

步骤4、特征参数融合与识别；

步骤4-1、将提取的语音信号特征参数和面部表情特征参数顺序组合起来，获得多模式特征向量，依此将原始训练样本集中所有多模式特征向量构成的集合称为串行特征向量集；

步骤4-2、通过对上述串行特征向量集有放回的抽样，获得若干个并行的训练样本集；

步骤4-3、利用Adaboost算法对各并行训练样本集分别进行训练，获得每个训练样本集上的强分类器；