[发明专利]一种多歌者歌声合成方法及装置

权利要求书

1.一种多歌者歌声合成方法，其特征在于，包括训练阶段和推理阶段：

训练阶段包括以下步骤：

S11.解析多歌者歌声数据，并提取数据的乐句特征、乐句对应的音素发音时长和乐句对应的音频频谱特征；乐句特征由音素向量、音符音高向量、音符时长向量构成；

S12.为每个歌声数据库生成歌者向量；

S13.将乐句特征和歌者向量作为模型输入，频谱特征和发音时长作为模型输出，并采用生成对抗网络作为模型的损失函数联合训练该模型；

推理阶段包括以下步骤：

S21.解析乐谱并提取乐谱的乐句特征，生成歌者向量；

S22.将步骤S21所获取的乐句特征和歌者向量共同输入到S13得到的模型，从模型编码器得到声学特征，从模型的时长预测器得到每个音素的发音时长；

S23.根据乐谱中乐句时长调整其所对应合成音素的发音时长；

S24.根据每个音素的发音时长扩展声学特征，并将扩展之后的声学特征输入到模型解码器生成频谱；

S25.利用步骤S24为每个乐句生成的频谱输入到声码器生成乐句相应歌声音频片段，并将所有音频片段按照乐句在乐谱中的出现顺序拼接为完整的歌声音频。

2.根据权利要求1所述的一种多歌者歌声合成方法，其特征在于，所述步骤S11包括：

对多个歌者的乐谱数据文件解析出歌词、音符音高和音符时长信息；

按照乐谱中休止符的位置将每张乐谱分割成多个乐句，休止符归属于该休止符之前的乐句；

将每个乐句相应的歌词信息转换为声韵级别的音素序列，按照歌词顺序排列音素序列，并将排列后音素序列映射为整数向量；

将每个乐句相对应的音符音高信息和音符时长信息按照顺序排列的音素序列分别展开，得到和音素序列个数一致的音符音高序列和音符时长序列，并将音符音高序列和音符时长序列分别映射为整数向量和浮点数向量；

从乐谱所包含歌词对应的音素发音时长文件解析出每个音素的发音时长，然后根据该乐谱相应的多个乐句将音素发音时长序列分割为与乐句相应的多个音素发音时长序列，并将以秒为单位的每个音素发音时长序列转换为以帧为单位的发音时长整数向量；

将乐谱对应的音频文件根据该乐谱对应的多个乐句时长切分为多个音频片段，并提取每个音频片段的频谱特征，频谱特征包扩但不限于线性谱和梅尔频谱。

3.根据权利要求1所述的一种多歌者歌声合成方法，其特征在于，所述步骤S12包括：

每个歌者向量由一个整数向量表示，该向量的维度与乐句相应的音素序列长度一致，所述歌者向量的元素值相同，代表歌者的序号，一张乐谱对应一个序号，一个序号对应多张乐谱。

4.根据权利要求1所述的一种多歌者歌声合成方法，其特征在于，所述步骤S13包括：

所述模型的输入包含乐句特征和歌者向量，所述模型的输出包含发音时长向量和音频特征，其中乐句特征由音素向量、音符音高向量、音符时长向量构成；

所述模型包含五个部分：嵌入层、编码器、时长预测器、解码器和判别器；

将输入音素向量、音符音高向量、音符时长向量和歌者向量分别通过所述模型最前层的四个嵌入网络层用于提取各个特征的隐特征，然后将四个嵌入层输出的隐特征相加继续传递给模型；

编码器将各个嵌入层之和作为输入，产生音素级别的声学特征；

时长预测器将各个嵌入层之和作为输入，产生每个音素发音帧数，并根据发音帧数扩展音素级别的声学特征为帧级别的声学特征；

将帧级别的声学特征输入解码器得到频谱特征；

频谱特征输入判别器用以判断模型生成的频谱是否接近真实频谱；

编码器和解码器结构包括但不限于Tacotron2、FastSpeech2，时长预测器和判别器包括但不限于多层一维卷积神经网络。