[发明专利]基于多模态信号的情感识别方法、装置、设备及存储介质

说明书

本发明涉及语音语义技术，揭露了一种基于多模态信号的情感识别方法，包括：获取用户的语音、文本及脚步声三种模态的信息，分别对语音、文本及脚步声进行特征提取，根据提取的特征预测用户在三种模态下的情感状态，并结合用户在三种模态下的情感状态进行融合决策，以最终确定用户的情感状态。此外，本发明还涉及区块链技术，用户的语音、文本及脚步声的信息可存储于区块链的节点。本发明还提出一种基于多模态信号的情感识别装置、电子设备以及存储介质。本发明可以提高情感识别的精确度。

技术领域

本发明涉及语音语义技术领域，尤其涉及一种基于多模态信号的情感识别方法、装置、电子设备及计算机可读存储介质。

背景技术

近年来，随着人工智能技术的不断发展，高精度的人机交互日益受到研究者的重视，它不仅要求计算机理解用户的情感和意图，而且需要对不同用户、不同环境、不同任务给予不同的反馈和支持，这就需要计算机理解用户的情感，并有效地表达出来。

现阶段情感识别多为基于表情，语音，肢体和脑电的情感识别，其中，关于声音的情感识别主要为语言类声音，即人的话语，可以分为语音和文本，目前已有大量的基于语音和文本的情感识别，但是对于其他包含情感和状态的非语言类声音，如脚步声、呼吸声等却很少有效利用，通常作为噪声去除掉了，导致声音中大量关于情感的信息丢失，难以完整地反映情感状态。

发明内容

本发明提供一种基于多模态信号的情感识别方法、装置及计算机可读存储介质，其主要目的在于解决进行情感识别的精确度较低的问题。

为实现上述目的，本发明提供的一种基于多模态信号的情感识别方法，包括：

获取用户的语音信息，提取所述语音信息中的语音特征；

识别所述语音信息的文本内容，将所述文本内容转换为文本向量矩阵，并从所述文本向量矩阵中提取所述文本内容的文本特征；

获取用户的脚步声信号，将所述脚步声信号转换为梅尔频率，并对所述梅尔频率进行声谱分析，得到脚步声特征；

分别利用预先训练的激活函数计算所述语音特征、所述文本特征和所述脚步声特征与预设的多个情感标签的相对概率值；

根据所述相对概率值对所述语音特征、所述文本特征和所述脚步声特征进行决策融合，从所述多个情感标签选择与所述决策融合的结果对应的情感标签为所述用户的情感状态。

可选地，所述提取所述语音信息中的语音特征，包括：

对所述语音信息进行分帧加窗，得到多个语音帧，并从所述多个语音帧中逐个选取其中一个语音帧为目标语音帧；

将所述目标语音帧映射为语音时域图，统计所述语音时域图的峰值、幅值、均值和过零率，根据所述幅值计算帧能量，并将所述峰值、所述幅值、所述均值、所述帧能量及所述过零率汇集为时域特征；

利用预设滤波器将所述语音信息转换为谱域图，统计所述谱域图的谱域密度、谱熵和共振峰参数，得到谱域特征；

通过傅里叶逆变换将所述谱域图转换为倒谱域图，统计所述倒谱域图的倒谱域密度、倒谱熵和倒谱周期，得到所述到谱域特征；

汇集所述时域特征、所述谱域特征和所述倒谱域特征汇集为语音特征。

可选地，所述将所述文本内容转换为文本向量矩阵，包括：

对所述文本内容进行分词处理，得到多个文本分词；

从所述多个文本分词中逐个选取其中一个文本分词为目标分词，并统计所述目标分词和所述目标分词的相邻文本分词在所述目标分词的预设邻域范围内共同出现的共现次数；

利用每一个文本分词对应的共现次数构建共现矩阵；