[发明专利]语音对齐网络的训练方法、语音对齐方法及电子设备

权利要求书

1.一种语音对齐网络的训练方法，其特征在于，包括如下步骤：

获取标注文本序列和音频特征序列；

将所述音频特征序列输入到编码器网络，获取音频特征编码序列；

基于所述音频特征编码序列和所述标注文本序列，获取对齐损失函数的值；

将所述标注文本序列和所述音频特征编码序列输入到基于注意力机制的解码器网络，获取音频特征解码序列；

基于所述音频特征解码序列和所述标注文本序列，获取注意力损失函数的值；

若所述对齐损失函数的值大于第一损失阈值或所述注意力损失函数的值大于第二损失阈值，基于所述对齐损失函数的值和所述注意力损失函数的值，迭代更新所述编码器网络和所述解码器网络，并返回执行所述获取标注文本序列和音频特征序列的步骤，直至所述对齐损失函数的值小于等于第一损失阈值和所述注意力损失函数的值小于等于第二损失阈值；

将最后一次更新后的编码器网络作为所述语音对齐网络。

2.根据权利要求1所述的训练方法，其特征在于，所述获取对齐损失函数的值，包括：

将所述音频特征编码序列和所述标注文本序列的每一种对齐分布的概率求和，获取概率总和值；

对所述概率总和值取负对数，将结果作为所述对齐损失函数的值。

3.根据权利要求1所述的训练方法，其特征在于，所述编码器网络为轻量级端到端网络。

4.根据权利要求1所述的训练方法，其特征在于，所述标注文本序列包括以字为单位的标注文本序列或者以音素为单位的标注文本序列。

5.一种语音对齐的方法，其特征在于，包括：

获取目标文本序列和目标音频，所述目标文本序列为所述目标音频的歌词文本序列；

将所述目标音频的音频特征序列输入到所述权利要求1～4中任一训练方法生成的语音对齐网络，获取目标音频特征编码序列；

基于所述目标音频特征编码序列，将所述目标文本序列与所述目标音频对齐。

6.根据权利要求5所述的方法，其特征在于，所述目标音频特征编码序列为目标文本序列中各个字或者各个音素在各个时刻的后验概率分布。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标音频特征编码序列，将所述目标文本序列与所述目标音频对齐，包括：

基于所述后验概率分布，生成所述目标文本序列中各个字或者各个音素分布到所述目标音频的时间帧序列中的最优时刻分布，以使得所述目标文本序列与所述目标音频对齐。

8.根据权利要求7所述的方法，其特征在于，所述基于所述后验概率分布，生成所述目标文本序列中各个字或者各个音素分布到所述目标音频的时间帧序列中的最优时刻分布，包括：

将所述目标文本序列中各个字或者各个音素任意分布到所述目标音频的时间帧序列中，生成全量分布序列；

计算全量分布序列中各个分布序列中各个字或者各个音素分布到对应时刻的后验概率总和；

将后验概率总和最大的分布序列作为所述最优时刻分布。