[发明专利]一种语音情感分类及合成方法、系统、装置及存储介质

说明书

本发明公开了一种语音情感分类及合成方法、系统、装置及存储介质，语音情感分类方法包括：获取语音数据，进行预处理；将预处理后的语音数据输入训练好的情感特征提取模型以得到情感特征向量，将预处理后的语音数据输入训练好的语者识别模型以得到说话人特征向量；将情感特征向量及说话人特征向量进行融合，并输入到情感特征分类模型以得到语音数据的情感分类；训练过程中，情感特征提取模型根据说话人分类信息与说话人信息的损失函数最大值更新，情感特征分类模型根据情感分类标签样本与情感信息的损失函数最小值更新。本发明实施例减少情感语音数据集的制作成本、提高情感分类质量，合成适合多场景的情感语音，可广泛应用于数据处理技术领域。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种语音情感分类及合成方法、系统、装置及存储介质。

背景技术

由于传统的语音合成方法忽略不计情感信息导致合成语音语调较平，不能满足除播报以外场景的需求。相关技术中，要求说话人按照不同的情感分别朗读同样的语料，以形成情感语音数据集，再利用具有情感的语音数据集训练带有情感的语音合成模型。说话人按照不同的情感分别朗读同样的语料，存在以下问题：需要专业配音并且擅长情感表演的说话者，不能复用已有的录音数据，录情感语音数据集成本高；每次指定一种情感进行录音使得说话者情感再现难度较大，对多种情感录音耗时较长，难以控制说话者表达情感的质量，情感语音数据的质量不易把控。

发明内容

有鉴于此，本发明实施例的目的是提供一种语音情感分类及合成方法、系统、装置及存储介质，减少情感语音数据集的制作成本、提高情感分类质量，能够合成适合多场景的情感语音。

第一方面，本发明实施例提供了一种语音情感分类方法，包括以下步骤：

获取语音数据，并对所述语音数据进行第一预处理；

将第一预处理后的语音数据输入到训练好的情感特征提取模型以得到情感特征向量，以及将第一预处理后的语音数据输入到训练好的语者识别模型以得到说话人特征向量；

将所述情感特征向量及所述说话人特征向量进行融合，并将融合后的特征向量输入到情感特征分类模型以得到所述语音数据的情感分类；

所述情感特征提取模型的训练过程如下：

获取若干个说话人的语音数据样本，并对所述语音数据样本进行第二预处理，所述语音数据样本包含情感信息和说话人信息；

将第二处理后的语音数据样本输入到所述情感特征提取模型以得到情感特征向量样本，以及将第二处理后的语音数据样本输入到所述语者识别模型以得到说话人特征向量样本，并将所述说话人特征向量样本输入到所述情感特征提取模型，将所述情感特征向量样本及所述说话人特征向量样本进行融合，并将融合后的特征向量样本输入到所述情感分类特征模型以得到所述语音数据的情感分类标签样本，将所述情感特征向量样本输入到说话人分类模型以得到说话人分类信息；其中，所述情感特征分类模型根据所述情感分类标签样本与所述语音数据样本中所述情感信息之间的损失函数最小化进行权重更新，所述情感特征提取模型根据所述说话人分类信息与所述语音数据样本中所述说话人信息之间的损失函数最大值进行权重更新。

可选地，所述对所述语音数据进行第一预处理，具体包括：

将所述语音数据标准化到预设的第一响度值；

按照预设的第二响度值裁剪标准化后的语音数据的首尾静默信息。

可选地，所述对所述语音数据样本进行第二预处理，具体包括：

将所述语音数据样本标准化到预设的第一响度值；

按照预设的第二响度值裁剪标准化后的语音数据样本的首尾静默信息；

对裁剪后的语音数据样本进行数据增广。

可选地，所述方法还包括：