[发明专利]一种多模态的非接触情感分析记录系统

摘要

本发明公开了一种基于多模态的非接触情感分析记录系统，其特征是组成包括：用于完成从外界环境接收声音的声音接收模块、用于获取语音的音频情感标注信息的声音特征提取与处理模块、用于完成语音内容到文本内容的转换的语音识别模块、用于获取语音的文本情感标注信息的文本特征提取与处理模块、用于完成所有数据处理，存储，调度任务的综合调度模块、用于完成检测到的语音情感状态的显示的显示模块和用于完成时间记录和提供时间标签的功能的时钟模块。本发明能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。

主权项

一种基于多模态的非接触情感分析记录系统，其特征是组成包括：声音接收模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、显示模块和时钟模块；所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识别，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声音中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块；所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量E'和动态程度副词向量Q'；并在所设定的周期T内统计单位时间内识别到的情感关键词的数量，从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键词语速特征修正系数L；由所述动态情感向量E'、动态程度副词向量Q'和文本情感关键词语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块；所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期T内的音频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量阈值H和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定，对超出所述情感音量阈值H和/或情感幅值阈值β的音频进行标注获得音频情感标注信息并传递给综合调度模块；所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能决策获得语音情感权值W并传递给显示模块进行显示。