[发明专利]语音情感识别方法及装置

说明书

本发明提供一种语音情感识别方法及装置，其中方法包括：获取原始语音集，所述原始语音集包括待识别语音和上下文语音；将所述原始语音集输入至语音情感识别模型，获得所述语音情感识别模型输出的所述待识别语音的识别结果；其中，所述语音情感识别模型是基于语音样本以及对应的识别标签进行训练后得到的，用于基于所述上下文语音对所述待识别语音进行语音情感识别；所述识别标签是根据所述语音样本预先确定的，并与所述语音样本一一对应；所述语音样本包括待识别语音样本和上下文语音样本。本发明提供的语音情感识别方法，通过结合上下文语音情感特征和待识别语音的语音情感特征，提高了语音情感识别正确率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种语音情感识别方法及装置。

背景技术

现有技术中对语音情感识别通常是对单一语音片段进行语音情感识别。现有技术中的语音情感识别方法将单一的原始语音数据输入至语音识别模块，获得转换后的文字，将转换后的文字输入至文本特征提取模块，得到文本特征，将原始语音数据输入至语音特征提取模块得到语音特征，再将语音特征和文本特征对齐后输入分类模块，获得分类结果。

虽然现有技术将单一语音片段的语音特征和文本特征进行了融合，但没有考虑到在真实语境中，某一片段的情感状态是和上下文语音有关的，现有技术中的语音情感识别方法中忽略了对说话者的上下文信息，导致语音情感识别存在识别准确率低的问题。

发明内容

本发明提供一种语音情感识别方法及装置，用以解决现有技术中语音情感识别存在识别准确率低的缺陷，提高了语音情感识别的准确率。

第一方面，本发明提供一种语音情感识别方法，包括：获取原始语音集，所述原始语音集包括待识别语音和上下文语音；将所述原始语音集输入至语音情感识别模型，获得所述语音情感识别模型输出的所述待识别语音的识别结果；其中，所述语音情感识别模型是基于语音样本以及对应的识别标签进行训练后得到的，用于基于所述上下文语音对所述待识别语音进行语音情感识别；所述识别标签是根据所述语音样本预先确定的，并与所述语音样本一一对应；所述语音样本包括待识别语音样本和上下文语音样本。

可选的，所述语音情感识别模型包括：特征提取模块、说话者上下文模块、二级特征融合模块和分类模块；所述将所述原始语音集输入至语音情感识别模型，输出所述待识别语音的识别结果，具体包括：将所述原始语音集输入至所述特征提取模块，获得所述特征提取模块输出的所述原始语音集的句级特征、所述待识别语音的帧级特征和第一矩阵；将所述句级特征和所述第一矩阵输入至所述说话者上下文模块，获得所述说话者上下文模块输出的上下文融合特征；将所述上下文融合特征和所述帧级特征输入至所述二级特征融合模块，获得所述二级特征融合模块输出的二级融合特征；将所述二级融合特征输入至所述分类模块，获得所述分类模块输出的识别结果；其中，所述第一矩阵用于分离所述上下文语音对所述待识别语音的影响。

可选的，所述将句级特征和第一矩阵输入至说话者上下文模块，获得说话者上下文模块输出的上下文融合特征，具体包括：基于所述句级特征和所述第一矩阵获得影响信息矩阵，所述影响信息矩阵用于表示所述上下文语音对所述待识别语音的影响；将所述影响信息矩阵与内容向量拼接融合获得语音集融合特征，所述内容向量是基于所述句级特征获得的；在所述语音集融合特征中提取所述待识别语音对应的融合特征，获得所述上下文融合特征。

可选的，所述基于句级特征和第一矩阵获得影响信息矩阵，具体包括：将所述句级特征经过第一全连接层，获得查询矩阵；将所述句级特征经过第二全连接层，获得被查矩阵；将所述句级特征经过第三全连接层，获得所述内容向量；基于所述第一矩阵、所述查询矩阵、所述被查矩阵、所述内容向量和预设影响力公式获得所述影响信息矩阵。

可选的，所述预设影响力公式为：其中，Y为所述影响信息矩阵，为softmax函数，K为所述查询矩阵，Q^T为所述被查矩阵的转置，mask1为所述第一矩阵，V为所述内容向量。