[发明专利]一种基于深度学习的情感语音合成方法及装置

权利要求书

1.一种基于深度学习的情感语音合成方法，其特征在于，所述方法至少包括如下步骤：

提取待处理文本信息及所述待处理文本信息的前文信息，所述前文信息包括前文文本信息；

以所述待处理文本信息及前文信息为输入，通过预先构建的第一模型生成情感特征信息；

以所述情感特征信息及待处理文本信息为输入，通过预先训练的第二模型合成情感语音，其中，预先训练所述第二模型时，具体包括如下子步骤：

提取视频样本的视频图像样本、文本信息样本及对话信息样本；

按照预设情感分类，对所述视频图像样本进行标注获得情感标注信息样本；

以所述视频图像样本为输入，以所述情感标注信息样本为输出，训练第三模型，并提取所述第三模型的第三中间输出作为所述视频图像样本的情感信息；

以所述情感信息及文本信息样本为输入，以对话信息样本为输出，训练第二模型。

2.根据权利要求1所述的一种基于深度学习的情感语音合成方法，其特征在于，所述第一模型包括依次连接的第一子模型、第二子模型及第三子模型，所述以所述待处理文本信息及前文信息为输入，通过预先构建的第一模型生成情感特征信息，具体包括如下子步骤：

以所述待处理文本信息及前文信息为输入，通过预先训练的第一子模型进行特征提取以获得第一中间输出；

以所述第一中间输出及待处理文本信息为输入，通过预先训练的第二子模型进行特征提取以获得情感类型及第二中间输出；

以所述第二中间输出、待处理文本信息、情感类型或接收的用户指定情感类型为输入，通过预先训练的第三子模型进行特征提取以获得情感特征信息。

3.根据权利要求1所述的一种基于深度学习的情感语音合成方法，其特征在于，当所述前文信息还包括前文语音信息时，所述第一模型包括依次连接的第四子模型、第五子模型及第六子模型，所述以所述待处理文本信息及前文信息为输入，通过预先构建的第一模型生成情感特征信息，具体包括如下子步骤：

以所述待处理文本信息及前文信息为输入，通过预先训练的第四子模型进行特征提取以获得第四中间输出；

以所述第四中间输出及待处理文本信息为输入，通过预先训练的第五子模型进行特征提取以获得第五中间输出及情感类型；

以所述第五中间输出、待处理文本信息、情感类型或接收的用户指定情感类型为输入，通过预先训练的第六子模型进行特征提取以获得情感特征信息。

4.根据权利要求2所述的一种基于深度学习的情感语音合成方法，其特征在于，预先训练所述第一模型时，具体包括如下子步骤：

提取视频样本的当前文本信息样本及前文信息样本，所述前文信息样本包括前文文本信息样本；

以所述当前文本信息样本及前文信息样本为输入，且以所述当前文本信息样本相对所述前文信息样本的情感是否变化为输出，训练获得所述第一子模型，并提取所述第一子模型中间输出的第一中间输出；

以所述第一中间输出及当前文本信息样本为输入，且以情感类型为输出，训练获得所述第二子模型，并提取所述第二子模型中间输出的第二中间输出；

以所述第二中间输出、当前文本信息样本、情感类型或接收的用户指定情感类型为输入，且以所述第三模型获得的情感信息为输出，训练获得所述第三子模型。

5.根据权利要求3所述的一种基于深度学习的情感语音合成方法，其特征在于，预先训练所述第一模型时，具体包括如下子步骤：

提取视频样本的当前文本信息样本及前文信息样本，所述前文信息样本包括前文文本信息样本及前文语音信息样本；

以所述当前文本信息样本及前文信息样本为输入，且以所述当前文本信息样本相对所述前文信息样本的情感是否变化为输出，训练获得所述第四子模型，并提取所述第四子模型中间输出的第四中间输出；

以所述第四中间输出及当前文本信息样本为输入，且以情感类型为输出，训练获得所述第五子模型，并提取所述第五子模型中间输出的第五中间输出及情感类型；

以所述第五中间输出、当前文本信息样本、情感类型或接收的用户指定情感类型为输入，且以所述第三模型获得的情感信息为输出，训练获得所述第六子模型。