[发明专利]实时修音方法、装置及电子设备

说明书

本公开实施例中提供了一种实时修音方法、装置及电子设备，属于数据处理技术领域，该方法包括：采集目标用户当前时刻的实时音频；定位所述实时音频在背景音乐中的目标位置；在所述目标用户对应所述背景音乐的完整模拟音频中，截取所述目标位置对应的模拟音频；依据所述实时音频与所述模拟音频，获得对应所述目标位置的最优音频；输出所述最优音频。通过本公开的方案，实现对用户实时音频修音并输出的方案，提高了修音效果，扩大了修音方案的适用范围。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种实时修音方法、装置及电子设备。

背景技术

人声修音有两个关键问题，一是节奏修正，通过调整每个音符的时长，将音符挪到对应的背景音乐节拍上面，二是音高修正，通过加快或者降低歌声的播放速度达到改变音高的目的。人声修音可以极大的提升歌声的表现效果，日常生活中看到的音乐节目和听到的专辑绝大部分都是经过后期修音处理后的结果。然而修音一般通过修音软件将录过的声音进行处理，无法做到实时修音，但是比如直播行业、歌手现场演唱等等都有实时修音需求，实时修音技术有着极大的应用空间。

可见，亟需实时修音的方案。

发明内容

有鉴于此，本公开实施例提供一种实时修音方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种实时修音方法，包括：

采集目标用户当前时刻的实时音频；

定位所述实时音频在背景音乐中的目标位置；

在所述目标用户对应所述背景音乐的完整模拟音频中，截取所述目标位置对应的模拟音频；

依据所述实时音频与所述模拟音频，获得对应所述目标位置的最优音频；

输出所述最优音频。

根据本公开实施例的一种具体实现方式，所述在所述目标用户对应所述背景音乐的完整模拟音频中，截取所述目标位置对应的模拟音频的步骤之前，所述方法还包括：

利用所述目标用户的历史音频数据训练模拟音频生成模型；

将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型，获得所述目标用户对应所述背景音乐的完整模拟音频。

根据本公开实施例的一种具体实现方式，所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤，包括：

将所述目标用户的历史音频数据输入模拟音频生成模型，提取所述目标用户的声纹数据；

所述将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型，获得所述目标用户对应所述背景音乐的完整模拟音频的步骤，包括：

控制所述模拟音频生成模型利用所述目标用户的声纹数据和所述背景音乐的音频数据，生成所述目标用户对应所述背景音乐的完整模拟音频。

根据本公开实施例的一种具体实现方式，所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤之前，所述方法还包括：

获取预设数量的样本用户的音频数据；

将所述预设数量的样本用户的音频数据输入人工神经网络，训练得到所述模拟音频生成模型。

根据本公开实施例的一种具体实现方式，所述依据所述实时音频与所述模拟音频，获得对应所述目标位置的最优音频的步骤，包括：

将所述实时音频和所述模拟音频与目标位置对应的预设参考音频比较，确定与所述预设参考音频的相似程度较高的目标音频，其中，所述目标音频为所述实时音频和所述模拟音频中的任一种；

若所述目标音频为所述实时音频，则将所述实时音频作为所述最优音频；