[发明专利]一种多模态的非接触情感分析记录系统

权利要求书

1.一种基于多模态的非接触情感分析记录系统，其特征是组成包括：声音接收模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、显示模块和时钟模块；

所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识别，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声音中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块；

所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量E'和动态程度副词向量Q'；并在所设定的周期T内统计单位时间内识别到的情感关键词的数量，从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键词语速特征修正系数L；由所述动态情感向量E'、动态程度副词向量Q'和文本情感关键词语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块；

所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期T内的音频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量阈值H和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定，对超出所述情感音量阈值H和/或情感幅值阈值β的音频进行标注获得音频情感标注信息并传递给综合调度模块；

所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能决策获得语音情感权值W并传递给显示模块进行显示。

2.根据权利要求1所述的多模态的非接触情感分析记录系统，其特征是：

所述语音识别模块中利用ASR方法进行候选词识别是按如下步骤进行：

步骤1、在所述语音识别模块中设置由N个待识别的候选词构成的候选词列表，所述候选词列表包括程度副词和X种情感关键词；设定每一种情感关键词的个数都为M个，则有(N-X×M)个程度副词；设定所述情感关键词分为正向情感关键词与负向情感关键词，所述正向情感关键词个数与负向情感关键词的个数相同；

步骤2、所述语音识别模块对所述外界环境声音通过频谱转换为文本特征，对所述文本特征匹配所述候选词列表，从而获得外界环境声音中匹配成功的情感关键词和程度副词。

3.根据权利要求2所述的多模态的非接触情感分析记录系统，其特征是：在所述综合调度模块中设置情感关键词权值表、程度副词表和特征参数表；

所述情感关键词权值表的表项为(A，a)，A为情感关键词，a为情感关键词权值；所述表项的总个数为X×M；所述情感关键词权值分为正向情感关键词权值和负向情感关键词权值；所述情感关键词权值之和为零；定义所述正向情感关键词用正向情感关键词权值来表征；所述负向情感关键词用负向情感关键词权值来表征；

所述程度副词表的表项为(B，b)，B为程度副词，b为程度副词的修正系数；所述表项的总个数为(N-X×M)；

所述特征参数表的表项为(G,x,y)，G为所述情感音量阈值H和情感幅值阈值β和文本情感关键词语速阈值S的集合，x为特征修正系数集合，y为特征影响权值集合。