[发明专利]用于生成音频的方法、装置、设备和介质

权利要求书

1.一种用于生成音频的方法，包括：

获取目标语音风格信息和目标用户发出的用户语音音频，其中，所述目标语音风格信息为人员演唱的歌曲的演唱风格信息，所述目标语音风格信息根据所述人员演唱的歌曲的歌词信息、声谱信息和梅尔谱信息生成，所述目标语音风格信息表征以下至少一项：节奏、颤音、咬字、共鸣；

基于所述目标语音风格信息和所述用户语音音频，生成目标语音音频，其中，所述目标语音音频的语音风格为所述目标语音风格信息指示的语音风格，所述目标语音音频的音色与所述用户语音音频的音色相匹配，并且，所述目标语音音频对应的文本信息与所述用户语音音频对应的文本信息相匹配；

其中，所述基于所述目标语音风格信息和所述用户语音音频，生成目标语音音频，包括：基于所述目标用户演唱的歌曲的歌词信息和声谱信息，生成所述目标用户演唱的歌曲的音色信息；基于所述音色信息和目标语音风格信息，生成目标语音音频，且所述目标语音音频的音高与所述目标用户演唱的歌曲的音高相匹配。

2.根据权利要求1所述的方法，其中，所述音色信息和所述目标语音风格信息分别采用矩阵的形式表征；以及

所述基于所述音色信息和所述目标语音风格信息，生成目标语音音频，包括：

通过预先确定的声码器，基于所述音色信息和所述目标语音风格信息的点积结果指示的梅尔频谱信息，生成目标语音音频，其中，所述声码器用于表征梅尔频谱信息与语音音频之间的对应关系。

3.根据权利要求1所述的方法，其中，所述基于所述歌词信息、所述用户语音音频的声谱信息，生成所述用户语音音频的音色信息，包括：

采用自回归解码器，基于所述歌词信息、所述用户语音音频的声谱信息，生成所述用户语音音频的音色信息。

4.根据权利要求1所述的方法，其中，所述目标语音风格信息通过如下步骤获得：

获取具有所述目标语音风格信息指示的语音风格的人员的语音音频；

基于所述人员的语音音频，生成目标语音风格信息。

5.根据权利要求4所述的方法，其中，所述基于所述人员的语音音频，生成目标语音风格信息，包括：

基于所述人员的语音音频对应的文本信息、所述人员的语音音频的声谱信息和所述人员的语音音频的梅尔频谱信息，生成目标语音风格信息。

6.根据权利要求5所述的方法，其中，所述人员的语音音频为所述人员演唱的歌曲的音频，所述人员的语音音频对应的文本信息为所述歌曲的歌词信息；以及

所述基于所述人员的语音音频对应的文本信息、所述人员的语音音频的声谱信息和所述人员的语音音频的梅尔频谱信息，生成目标语音风格信息，包括：

基于所述歌词信息、所述人员的语音音频的声谱信息、所述人员的语音音频的梅尔频谱信息和所述人员的语音音频的音高信息，生成目标语音风格信息。

7.根据权利要求6所述的方法，其中，所述基于所述歌词信息、所述人员的语音音频的声谱信息、所述人员的语音音频的梅尔频谱信息和所述人员的语音音频的音高信息，生成目标语音风格信息，包括：

对所述歌词信息和所述音高信息进行对齐处理，得到对齐后的歌词信息和音高信息；

基于所述人员的语音音频的声谱信息、所述人员的语音音频的梅尔频谱信息，以及所述对齐后的歌词信息和音高信息，生成目标语音风格信息。

8.根据权利要求4所述的方法，其中，所述基于所述人员的语音音频，生成目标语音风格信息，包括：

采用自回归解码器，基于所述人员的语音音频，生成目标语音风格信息。

9.根据权利要求1-3、5-7之一所述的方法，其中，声谱信息采用嵌入向量embedding的形式表征。