[发明专利]语音对齐网络的训练方法、语音对齐方法及电子设备

说明书

本申请公开一种语音对齐网络的训练方法，包括：获取标注文本序列和音频特征序列；将所述音频特征序列输入到编码网络，获取音频特征编码序列；获取对齐损失函数的值；将所述标注文本序列和所述音频特征编码序列输入到基于注意力机制的解码器网络，获取音频特征解码序列；基于所述音频特征解码序列和所述标注文本序列，获取注意力损失函数的值；基于所述对齐损失函数的值和所述注意力损失函数的值，循环训练编码网络和解码网络，直至满足条件，输出编码网络。所训练出的网络模型能够部署到手机端，实现语音对齐，时效性好。同时提供了语音对齐的方法，和对应的电子设备和计算机可读存储介质。

技术领域

本申请涉及语音处理的技术领域，具体地涉及一种语音对齐网络的训练、一种语音对齐的方法。另外，本申请还涉及相关的电子设备和计算机可读存储介质。

背景技术

数字音乐领域可以利用歌词时间戳技术，标记出歌词中每个字的起始和终止时间以及每行的起始时间和终止时间，最终得到QRC(歌词文件类型)时间戳的歌词文本文件。现有技术中主要依据歌唱发音与说话发音不同(主要体现在语速，决定每个音素的长短)，通过修改发音词典，并根据歌曲不同流派信息，提出基于音乐流派感知的声学对齐模型，直接将歌词内容对齐到带有伴奏的音乐音频中，得到每个字的起止时间。现有的声学对齐模型，由于模块众多、训练推理复杂、需要计算资源多等原因难以在手机客户端部署，大多在服务器后端部署，如此部署的声学对齐模型实现的对齐准确度高但时延长。用户需要提交音频和歌词文件上传到后台服务器，然后由后台服务器部署的对齐服务生成对齐文件，并使用异步的方式回传给用户，这种处理方式精度高但是时效性太差，场景适用有限。

本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。

发明内容

因此，本发明实施例意图提供一种能够在手机端快速实现语音对齐的方案，使用轻量级端到端神经网络，可以直接部署到手机端，用户仅需要选择音频和其对应歌词即可实时得到对应对齐歌词时间戳文本，这种处理方式节约流量成本和时间成本。

本发明实施例提供了一种语音对齐网络的训练方法，包括如下步骤：

获取标注文本序列和音频特征序列；

将所述音频特征序列输入到编码器网络，获取音频特征编码序列；

基于所述音频特征编码序列和所述标注文本序列，获取对齐损失函数的值；

将所述标注文本序列和所述音频特征编码序列输入到基于注意力机制的解码器网络，获取音频特征解码序列；

基于所述音频特征解码序列和所述标注文本序列，获取注意力损失函数的值；

若所述对齐损失函数的值大于第一损失阈值或所述注意力损失函数的值大于第二损失阈值，基于所述对齐损失函数的值和所述注意力损失函数的值，迭代更新所述编码器网络和所述解码器网络，并返回执行所述获取标注文本序列和音频特征序列的步骤，直至所述对齐损失函数的值小于等于第一损失阈值和所述注意力损失函数的值小于等于第二损失阈值；

将最后一次更新后的编码器网络作为所述语音对齐网络。

在本发明的一些实施例中，所述获取对齐损失函数的值，包括：

将所述音频特征编码序列和所述标注文本序列的每一种对齐分布的概率求和，获取概率总和值；

对所述概率总和值取负对数，将结果作为所述对齐损失函数的值。

在本发明的一些实施例中，所述编码器网络为轻量级端到端网络。

在本发明的一些实施例中，所述标注文本序列包括以字为单位的标注文本序列或者以音素为单位的标注文本序列。

本发明的实施例还提供了一种语音对齐的方法，包括如下步骤：