[发明专利]面向情景及情感的中文语音合成方法、装置及存储介质

权利要求书

1.一种面向情景及情感的中文语音合成方法，应用于电子装置，其特征在于，包括：

获取输入语音；

将所述输入语音输入情感分析模型，通过所述情感分析模型输出所述输入语音的情感状态；

根据对话场景以及所述输入语音的情感状态确定合成语音的情感状态；

根据所述合成语音的情感状态以及基于所述输入语音确定的待合成文本进行语音合成。

2.根据权利要求1所述的面向情景及情感的中文语音合成方法，其特征在于，所述情感分析模型包括基于语音的情感识别模型，通过所述情感分析模型输出所述输入语音的情感状态的步骤包括：

获取所述输入语音的声谱图和语音特征参数；

将所述输入语音的声谱图输入所述情感识别模型中的经过训练得到的卷积循环神经网络中，通过所述卷积循环神经网络和第一全连接层输出第一特征向量；

根据所述语音特征参数获取统计特征，输入所述情感识别模型中，通过所述情感识别模型中的三个第二全连接层输出第二特征向量；

将所述第一特征向量与所述第二特征向量进行融合，得到融合特征向量；

所述融合特征向量通过所述情感识别模型中的第三全连接层和归一化层输出所述输入语音的情感的第一概率向量；

根据所述第一概率向量获取所述输入语音的情感状态。

3.根据权利要求1所述的面向情景及情感的中文语音合成方法，其特征在于，所述情感分析模型包括基于文本的情感分类模型，通过所述情感分析模型输出所述输入语音的情感状态的步骤包括：

通过语音识别将所述输入语音转化为待分类文本；

提取所述待分类文本的文本特征向量；

将所述文本特征向量输入所述情感分类模型中的深度神经网络分类器中；

通过所述分类器获取所述输入语音的情感的第二概率向量；

根据所述第二概率向量获取所述输入语音的情感状态。

4.根据权利要求1所述的面向情景及情感的中文语音合成方法，其特征在于，所述情感分析模型包括基于语音的情感识别模型和基于文本的情感分类模型，通过所述情感分析模型输出所述输入语音的情感状态的步骤包括：

通过所述情感识别模型获取所述输入语音的情感的第一概率向量，根据所述第一概率向量分别获取多种语音情感的第一置信度；

通过所述情感分类模型获取所述输入语音的情感的第二概率向量，根据所述第二概率向量分别获取多种语音情感的第二置信度；

将同一种语音情感的所述第一置信度与所述第二置信度相加，获取所述同一种语音情感的置信度，得到多种语音情感的置信度向量；

选择所述置信度向量中最大置信度所对应的语音情感作为所述输入语音的情感状态。

5.根据权利要求1所述的面向情景及情感的中文语音合成方法，其特征在于，根据对话场景以及所述输入语音的情感状态确定合成语音的情感状态的步骤包括：

构建场景库，所述场景库包括多种对话场景以及每种对话场景所对应的情感状态；

根据所述输入语音和待合成文本进行情景分析，获取所述待合成文本的对话场景；

根据所述场景库获取所述待合成文本的对话场景对应的情感状态；

根据所述对话场景对应的情感状态以及所述输入语音的情感状态确定合成语音的情感状态。

6.根据权利要求1至5中任一项所述的面向情景及情感的中文语音合成方法，其特征在于，根据所述合成语音的情感状态以及待合成文本进行语音合成的步骤包括：

通过波形拼接技术对待合成文本进行语气助词嵌入；

通过端到端合成技术控制合成语音的语气和韵律；

根据嵌入的语气助词、语气和韵律进行语音合成。

7.根据权利要求1所述的面向情景及情感的中文语音合成方法，其特征在于，将所述输入语音输入情感分析模型的步骤之前，还包括：

根据输入语音和待合成文本判断是否存在交互场景，若不存在交互场景，则设定所述合成语音的情感状态，不再对输入语音进行情感分析；若存在交互场景，则将所述输入语音输入情感分析模型中。