[发明专利]多音字消歧和韵律控制联合方法、系统以及电子设备

说明书

本申请提供多音字消歧和韵律控制联合方法、系统以及电子设备；获取待处理文本和其词性，转换为字符向量和词性向量并拼接得到成拼接向量；通过交替训练策略训练获取联合模型、第一组权重和第二组权重；联合模型包括第一神经网络和第二神经网络，通过联合模型对拼接向量进行编码，得到字符的第一句中编码和第二句中编码；按照第一组权重得到多音加权和，通过第一全连接层，得到多音字的读音概率分布；通过掩码去除多音字的读音概率分布中不正确的读音，得到最终读音预测；按照第二组权重得到韵律加权和，通过第二全连接层和条件随机场，得到韵律停顿等级。消除流式结构处理导致误差累积，提高文本转语音的计算速度。

技术领域

本申请涉及中文语音合成技术领域，尤其涉及一种多音字消歧和韵律控制联合方法、系统以及电子设备。

背景技术

为了避免使用文本转语音技术所生成的多音字读音错误或语音过于平淡，使合成的语音更加准确且更加“拟人化”，往往会在处理过程中加入控制语音的多音字消歧和韵律停顿。

传统的处理方式中，文本转语音主要包括前端的文本/音素转换处理和后端的音素/语音信号转换处理两部分。后端的处理以声学特征为过度，用于实现端到端的训练与合成；而前端依次包括子句切分模型、文本正则模型、自然变调模型、多音字消歧模型和韵律预测模型，前端的处理是多模块构成的流式结构，如子句切分模型的输出作为文本正则模型的输入，其中子句切分模型、文本正则模型、自然变调模型通常可基于规则实现，而多音字消歧模型和韵律预测模型多为数据驱动的深度学习统计。

目前，通用的做法是在前端的处理中使用两个独立的多音字消歧模型和韵律预测模型分别实现多音字消歧和韵律预测，由于前端的各个模型之间为流式结构，通过流式结构处理导致各个模块误差产生累积，影响最终的语音合成效果。

发明内容

本申请提供了一种多音字消歧和韵律控制联合方法及系统，可用于解决两个独立的多音字消歧和韵律预测模型计算量大、流式结构处理导致误差累积的技术问题。

第一方面，本申请提供一种多音字消歧和韵律控制联合方法，所述多音字消歧和韵律控制联合方法包括：

获取待处理文本，以及，文本的词性；

将所述待处理文本转换为字符向量，所述词性转换为词性向量；

将所述字符向量和所述词性向量拼接，得到拼接向量；

通过交替训练策略训练获取联合模型，以及第一组权重和第二组权重，所述联合模型具有多音字消歧分支和韵律预测分支，所述第一组权重对应所述多音字消歧分支，所述第二组权重对应所述韵律预测分支；

所述联合模型包括第一神经网络和第二神经网络，通过联合模型对所述拼接向量进行编码，将所述拼接向量传入所述第一神经网络得到第一句中编码，将所述拼接向量传入所述第二神经网络得到第二句中编码；

按照第一组权重将第一句中编码和第二句中编码求和，得到所述多音字消歧分支中拼接向量的多音加权和；

将所述多音加权和通过第一全连接层，得到多音字的读音概率分布；

通过掩码去除所述多音字的读音概率分布中不正确的读音，得到拼接向量的最终读音预测结果；

按照第二组权重将第一句中编码和第二句中编码求和，得到所述韵律预测分支中拼接向量的韵律加权和；

将所述韵律加权和通过第二全连接层和条件随机场，得到拼接向量的韵律停顿等级；

在通过交替训练策略训练获取联合模型时，第一组权重和第二组权重作为模型参数参与迭代更新；在训练多音字消歧分支时，第二全连层不参与参数更新；在训练韵律预测分支时，第一全连层不参与参数更新。

结合第一方面，在一种可能的实现方式中，通过交替训练策略训练获取联合模型，包括：