[发明专利]歌曲训练数据处理方法、装置及计算机可读存储介质

说明书

本发明涉及语音语义技术领域，公开了一种歌曲训练数据处理方法，该方法包括：获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音，对初始样本数据进行标注，得到训练数据，并基于所述训练数据，训练得到声学特征输出模型。之后，该方法对目标训练数据进行处理，将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征，根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。本发明还提出一种歌曲训练数据处理装置以及一种计算机可读存储介质。本发明实现了在不录制额外语料的情况下，提高训练样本数量。

技术领域

本发明涉及语音语义技术领域，尤其涉及一种歌曲训练数据处理方法、装置及计算机可读存储介质。

背景技术

歌唱合成的概念一经推出，就一直广受人们的关注，其最终目标是让机器以堪比真人歌手的自然度唱出各种旋律的歌曲。参数合成是歌唱合成的主流技术之一，其技术核心是通过训练模型，让模型学习如何将歌词的语言特征和乐谱的音乐特征转化为歌唱的声学特征。因此，模型的训练是参数合成技术中至关重要的一步，而训练后模型的性能依赖于训练语料的质量。如果某些语境因素少或从未出现在训练语料中，那么模型将不能很好的学习到如何准确的合成这些因素。另外，在所有音乐因素中，音高是影响歌唱质量的主要原因之一，所以使语料均匀而全面的概括各个音高是训练数据时的一大要点，现有技术中需要录制很多训练样本，才能得到全面的概括各个音高的语料，不仅需要非常多的人力，物力和时间，而且音高分布参差不齐。

发明内容

本发明提供一种歌曲训练数据处理方法、装置及计算机可读存储介质，其主要目的在于实现在不录制额外语料的情况下，提高训练样本数量，得到音高分布均匀的训练样本。

为实现上述目的，本发明还提供一种歌曲训练数据处理方法，所述方法包括：

获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；

对初始样本数据进行标注，得到训练数据；

基于所述训练数据，训练得到声学特征输出模型；

获取目标训练数据；

提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；

将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；

根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。

可选地，所述初始样本数据包括各个音域的歌曲；其中音域指某人声或乐器所能达到的最低音至最高音的范围。

可选地，所述对初始样本数据进行标注，得到训练数据包括：

提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括：歌词的发音、歌词的前后关联；所述音乐特征包括：乐谱的音调、拍号、各音符的音高、音符时长。

可选地，所述基于所述训练数据，训练得到声学特征输出模型包括：

在训练所述声学特征输出模型时，利用训练算法根据每首歌驱的语言学特征和音乐特征输出每首歌的声学特征，并将输出的每首歌的声学特征与每首歌曲的清唱录音进行对比，直至使所述声学特征输出模型能提取每首歌曲的声学特征，其中所述声学特征包括基频和梅尔频谱系数。

可选地，所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：

将每个首歌曲的音乐特征中所有音符的音高进行调整包括：将每个首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变；