[发明专利]歌曲多媒体的合成方法、装置、电子设备及存储介质

权利要求书

1.一种歌曲多媒体的合成方法，包括：

响应于歌曲多媒体合成请求，显示素材获取模式；

获取用户通过所选择的素材获取模式提供的用户音频；

将所述用户音频输入音色提取模型，以得到所述音色提取模型输出的用户音色；

获取用户通过所选择的素材获取模式提供的待合成的歌词以及待合成的曲谱，并将所述用户音色、所述待合成的歌词以及所述待合成的曲谱输入歌曲合成模型，以得到合成后的歌曲多媒体。

2.根据权利要求1所述的方法，其中，所述素材获取模式包括：音色素材获取模式；所述音色素材获取模式包括：用户音频录入接口，和/或，用户音频上传接口；

所述获取用户通过所选择的素材获取模式提供的用户音频，包括：

在检测到用户对用户音频录入接口的选择指令时，控制音频录入设备采集用户音频；或者，

在检测到用户对用户音频上传接口的选择指令时，获取上传的用户音频。

3.根据权利要求2所述的方法，其中，所述音色素材获取模式还包括以下模式中的任意一个或者多个：用户音色上传接口、指定音色列表、历史音色列表、分享音色列表；其中，历史音色列表包括历史时间段内上传或者提取的用户音色，所述分享音色列表包括历史时间段内分享的用户音色；

所述的方法，还包括：

在检测到用户对用户音色上传接口、指定音色列表、历史音色列表、或者分享音色列表的选择指令时，获取上传或者选择的用户音色。

4.根据权利要求1所述的方法，其中，所述素材获取模式还包括：歌词素材获取模式；

所述歌词素材获取模式包括以下模式中的任意一个或者多个：歌词上传接口、指定歌词列表、历史歌词列表、分享歌词列表；

所述待合成的歌词的获取方式为，在检测到用户对所述歌词上传接口、所述指定歌词列表、所述历史歌词列表、或者所述分享歌词列表的选择指令时，获取用户上传或者选择的歌词。

5.根据权利要求1所述的方法，其中，所述素材获取模式还包括：曲谱素材获取模式；

所述曲谱素材获取模式包括以下模式中的任意一个或者多个：曲谱上传接口、指定曲谱列表、历史曲谱列表、分享曲谱列表；

所述待合成的曲谱的获取方式为，在检测到用户对所述曲谱上传接口、所述指定曲谱列表、所述历史曲谱列表、或者所述分享曲谱列表的选择指令时，获取用户上传或者选择的曲谱。

6.根据权利要求1所述的方法，其中，所述将所述用户音频输入音色提取模型，以得到所述音色提取模型输出的用户音色之前，还包括：

获取初始的联合模型，其中，所述联合模型包括：依次连接的音色提取模型和歌曲合成模型；

获取训练数据，其中，所述训练数据包括：用户音频样本、歌词样本、曲谱样本、以及对应的歌曲多媒体样本；

采用所述训练数据对所述初始的联合模型进行训练，得到训练好的联合模型；

获取所述训练好的联合模型中的音色提取模型以及歌曲合成模型。

7.根据权利要求1所述的方法，其中，还包括：

获取待合成的音乐资源，其中，所述音乐资源包括：背景音乐和/或音效；

根据所述合成后的歌曲多媒体、所述背景音乐和/或音效，生成带有背景音乐和/或音效的歌曲多媒体。

8.根据权利要求1所述的方法，其中，还包括：

获取待合成的音乐资源以及视频资源；

根据所述合成后的歌曲多媒体、所述音乐资源以及所述视频资源，生成带有音乐资源以及视频资源的歌曲多媒体。