[发明专利]面向语音与面部表情信号的情感可视化方法

说明书

技术领域

本发明涉及一种多模式情感可视化方法，特别涉及一种面向语音与面部表情信号 的情感可视化方法。

背景技术

近年来，情感信息的研究工作在人机交互领域中已经成为一个热点问题。随着社 会信息化的推进和网络应用的日益广泛，信息源越来越庞大。对海量信息之间的复杂关系 的努力探索，促使了信息可视化这一崭新科学技术的出现。情感信息可视化的研究任务是 将大规模复杂数据信息转换为直观图形或图像，充分发挥人们对可视模式的形象思维优 势，达到观察、浏览、研究、探索、发现隐藏在大规模数据内部的特征和规律的目的。目前情 感可视化的研究主要停留在单模式情感可视化的水平，即只从单一信息通道中获得当前对 象的情感状态，如从语音信号、面部表情信号或生理信号(血压、体温、脉搏、心电、脑电、皮 肤电阻等)等。虽然单一地依靠语音信号、面部表情信号或生理参数来进行可视化取得了一 定的成果，但却存在着很多局限性，因为人类是通过多模式的方式表达情感信息的，它具有 表达的复杂性和文化的相对性。比如，在噪声环境下，当某一个通道的特征受到干扰或缺失 时，多模式方法能在某种程度上产生互补的效应，弥补了单模式的不足。所以研究多模式情 感可视化的方法十分必要。由于生理信号的测量必须与身体接触，因此对于此通道的信号 获取有一定的困难，所以语音和面部表情作为两种最为主要的表征情感的方式，在情感识 别方面得到了广泛的研究，但是其只能通过文字来表达识别结果，显示不直观。

发明内容

针对上述现有技术存在的不足，本发明所要解决的技术问题是提供一种显示直观 且具有高鲁棒性的面向语音与面部表情信号的情感可视化方法。

本发明的技术解决方案是：

一种面向语音与面部表情信号的情感可视化方法，包括以下步骤：

步骤1：情感信号获取；

首先诱发情感，再同步获取相应情感状态下的语音信号和面部表情信号，并将二 者绑定存储；

步骤2、情感信号预处理；

步骤2-1、语音信号预处理；

对获取的语音信号进行预处理，包括预加重、分帧加窗和端点检测；

步骤2-2、面部表情信号预处理；

对获取的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理 和图像光学特性归一化处理；

步骤3、情感特征参数提取；

步骤3-1、语音情感特征参数提取；

包括韵律特征和音质特征；

步骤3-2、面部表情特征参数提取；

对预处理后的面部表情信号，采用Gabor小波变换来提取面部表情特征参数，具体 过程如下：

1)将预处理后的面部表情图像网格化；

2)用Gabor小波和网格化后的图像进行卷积；

3)取卷积结果的模的均值和方差作为面部表情特征参数；

4)用主成分分析法PCA对上述面部表情特征参数进行降维处理，获得最终的面部 表情特征参数；

步骤4、神经网络设计；

所述的神经网络为三层BP神经网络，其中输入层有46个神经元，输出层有3个神经 元；

步骤5、图像生成；

步骤5-1、图像主颜色编码；

通过给屏幕相应位置的RGB赋值，即通过设定图像红色饱和度R、绿色饱和度G和蓝 色饱和度B的值，来获得图像的主颜色信息；

步骤5-2、图案信息编码；

神经网络的输出即为相应的图案信息，神经网络的输出层有3个神经元，均采用二 进制编码，共有8个不同的码，其中利用前6个码，依次对应着中性、高兴、愤怒、惊奇、悲伤和 恐惧6种人类基本情感；

步骤5-3、图像合成；

图像合成时，把图像主颜色信息与图案信息融合在一幅图像中在显示屏上显示。

所述步骤5-3中图像合成时，先获得图像主颜色信息，然后用图案信息置换相应位 置的主颜色信息，获得相应的情感可视化图像。