[发明专利]基于多模态信号的情感识别方法、装置、设备及存储介质

权利要求书

1.一种基于多模态信号的情感识别方法，其特征在于，所述方法包括：

获取用户的音频信息，提取所述音频信息中的语音特征；

识别所述音频信息的文本内容，对所述文本内容进行分词处理，得到多个文本分词，从所述多个文本分词中逐个选取其中一个文本分词为目标分词，并统计所述目标分词和所述目标分词的相邻文本分词在所述目标分词的预设邻域范围内共同出现的共现次数，利用每一个文本分词对应的共现次数构建共现矩阵，分别将所述多个文本分词转换为词向量，将所述词向量拼接为向量矩阵，利用所述共现矩阵和所述向量矩阵进行乘积运算，得到文本向量矩阵，并从所述文本向量矩阵中提取所述文本内容的文本特征；

获取所述音频信息中的脚步声信号，将所述脚步声信号转换为梅尔频率，并对所述梅尔频率取对数，并对所述对数进行离散余弦变换，得到离散频率，对所述离散频率进行二阶差分处理，得到差分频率，利用预设的滤波网络对所述差分频率进行多重滤波，得到滤波频率，将所述滤波频率进行编码，并将编码后的所述滤波频率拼接为脚步声特征；

分别利用预先训练的激活函数计算所述语音特征、所述文本特征和所述脚步声特征与预设的多个情感标签的相对概率值；

根据所述相对概率值计算每一个情感标签的得分，确定得分最高的情感标签为所述用户的情感状态。

2.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述提取所述音频信息中的语音特征，包括：

对所述音频信息进行分帧加窗，得到多个语音帧，并从所述多个语音帧中逐个选取其中一个语音帧为目标语音帧；

将所述目标语音帧映射为语音时域图，统计所述语音时域图的峰值、幅值、均值和过零率，根据所述幅值计算帧能量，并将所述峰值、所述幅值、所述均值、所述帧能量及所述过零率汇集为时域特征；

利用预设滤波器将所述音频信息转换为谱域图，统计所述谱域图的谱域密度、谱熵和共振峰参数，得到谱域特征；

通过傅里叶逆变换将所述谱域图转换为倒谱域图，统计所述倒谱域图的倒谱域密度、倒谱熵和倒谱周期，得到所述到谱域特征；

汇集所述时域特征、所述谱域特征和所述倒谱域特征汇集为语音特征。

3.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述从所述文本向量矩阵中提取所述文本内容的文本特征，包括：

从所述多个文本分词中逐个选取其中一个文本分词为目标分词，根据所述目标分词的词向量及所述文本向量矩阵，计算所述目标分词的关键值；

按照所述关键值从大到小的顺序从所述多个文本分词中选取预设数量的文本分词为特征分词；

将所述特征分词的词向量拼接得到所述文本内容的文本特征。

4.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述将所述脚步声信号转换为梅尔频率，包括：

对所述脚步声信号进行分帧加窗，得到多个脚步帧；

分别对每一个脚步帧进行傅里叶变换，得到每一个脚步帧对应的频域信号；

利用预设的梅尔刻度滤波器对所述频域信号进行过滤，得到每一个脚步帧对应的梅尔频率。

5.如权利要求1至4中任一项所述的基于多模态信号的情感识别方法，其特征在于，所述根据所述相对概率值计算每一个情感标签的得分，确定得分最高的情感标签为所述用户的情感状态，包括：

获取所述语音特征、所述文本特征和所述脚步声特征对应的预先训练的激活函数的识别率；

根据所述识别率计算所述语音特征、所述文本特征和所述脚步声特征对应的激活函数的差异权重；

根据所述差异权重和所述相对概率值，计算所述多个情感标签的得分；

对所述得分进行统计，确定得分最高的情感标签为所述用户的情感状态。