[发明专利]一种多模态的非接触情感分析记录系统

说明书

技术领域

本发明涉及人机情感交互领域，具体地说是一种多模态的非接触情感分析记录系统。

背景技术

语言是人与人之间交流最重要的工具，人类的话语中包括了文本符号信息，还饱含了人们的情感，从语音中进行情感信息特征的人工处理，在人工智能领域具有重要意义。人类通过语言来交流，人类的情感是通过多通道多模态表达的，例如通过语言内容、音频、表情和肢体动作等表达情感，语音情感识别就是从语音信号中识别出说话人的情感信息。

目前的研究主要从语音韵律中提取情感特征信息，语音情感识别系统主要依靠语音的低层次声学特征来进行识别，具有代表性的特征是基音频率、共振峰、短时平均过零率和发音持续时间等，这种方法用往往容易导致特征维数较高，模式识别研究表明，准确率不与特征空间的维数成正比，且在高维情况下泛化能力反而会减弱，甚至导致维数灾难。

也有从语言学的角度考虑语音信号中的情感分析，考虑语音文本的语义成分，利用语句的语义和语法提供说话人的情感线索，其中基于的参数主要是情感用语、冗长程度、目的频率、对话历史、词的频率等内容；此方法的不足之处为需要大量的知识，这首先给语音识别就带来了难度，进行语义分析，又需要相关语言知识，这又给情感分析增加了难度，方法复杂，在现阶段难以实现。

在语音情感信息处理领域几乎利用了所有的模式识别手段，例如人工神经网络(ANN)，隐马尔可夫模型(HMM)，混合高斯模型(GMM)，支持向量机(SVM)等，但是如果将所有的这些成果放在一起比较，可以发现特征提取的手段极其局限，几乎所有研究都是采用韵律特征或者这些韵律特征的线性组合和变换作为研究对象，大多只是在音频这个模态进行特征提取与分析，使语音情感特征总是局限在一个较小的范畴，不够全面。

发明内容

本发明克服了现有技术的不足之处，提供一种基多模态的非接触情感分析记录系统，能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于多模态的非接触情感分析记录系统的特点是组成包括：声音接收模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、显示模块和时钟模块；

所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识别，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声音中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块；

所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量E'和动态程度副词向量Q'；并在所设定的周期T内统计单位时间内识别到的情感关键词的数量，从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键词语速特征修正系数L；由所述动态情感向量E'、动态程度副词向量Q'和文本情感关键词语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块；

所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期T内的音频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量阈值H和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定，对超出所述情感音量阈值H和/或情感幅值阈值β的音频进行标注获得音频情感标注信息并传递给综合调度模块；

所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能决策获得语音情感权值W并传递给显示模块进行显示。

本发明多模态的非接触情感分析记录系统的特点也在于：

所述语音识别模块中利用ASR方法进行候选词识别是按如下步骤进行：

步骤1、在所述语音识别模块中设置由N个待识别的候选词构成的候选词列表，所述候选词列表包括程度副词和X种情感关键词；设定每一种情感关键词的个数都为M个，则有(N-X×M)个程度副词；设定所述情感关键词分为正向情感关键词与负向情感关键词，所述正向情感关键词个数与负向情感关键词的个数相同；