[发明专利]伴奏和人声提取方法及装置、逐字歌词生成方法及装置

说明书

本公开实施例提供了一种伴奏和人声提取方法及装置、逐字歌词生成方法及装置、存储介质和电子设备，涉及音频处理技术领域。伴奏和人声提取方法包括：获取时域上的混合音频数据；通过伴奏人声提取模型中的编码模块对混合音频数据进行编码处理，得到编码后音频特征；通过伴奏人声提取模型中的第一解码模块对编码后音频特征进行第一卷积处理，得到目标人声音频数据；编码模块和第一解码模块构成第一U‑net网络；通过伴奏人声提取模型中的第二解码模块对编码后音频特征进行第二卷积处理，得到目标伴奏音频数据；编码模块和第二解码模块构成第二U‑net网络。本公开可以提高伴奏和人声的提取效果。

技术领域

本公开实施例涉及音频处理技术领域，更具体地，涉及一种伴奏和人声提取方法及装置、逐字歌词生成方法及装置、存储介质和电子设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

音乐源分离技术是近些年被广泛研究的技术之一，伴奏和人声提取是指将混合音乐音频中的人声音频和除了人声音频之外的伴奏音频提取出来，其中伴奏音频可以用于K歌系统、音乐检索系统等，人声音频可以用于K歌系统的音高生成、情感分析等场景等。

当前基于传统方法的提取技术主要依赖立体声音乐的特性进行分离，算法鲁棒性差，适用范围限制大，提取效果较差。当前使用深度学习进行伴奏和人声分离的方法通常会将音频信号首先转换到频域，再对混合音频的幅度谱图进行分离，将混合音频的相位作为伴奏和人声的相位。

但是在伴奏和人声分离任务中，提取出的音频的相位信息同样重要，直接使用混合音频的相位作为伴奏和人声的相位是不合理的，即忽略了伴奏和人声的相位信息，导致伴奏和人声提取的效果较差。相应地，通过提取的人声音频数据进行逐字歌词显示的准确性也较低。

发明内容

本公开的目的在于提供一种伴奏和人声提取方法及装置、逐字歌词生成方法及装置、存储介质和电子设备，从而至少在一定程度上克服由于相关技术的缺陷和限制而导致的伴奏和人声提取的效果较差的问题，以及歌词逐字显示的准确性较低的问题等。

根据本公开的第一方面，提供一种伴奏和人声提取方法，包括：

获取时域上的混合音频数据；

通过伴奏人声提取模型中的编码模块对所述混合音频数据进行编码处理，得到编码后音频特征；

通过所述伴奏人声提取模型中的第一解码模块对所述编码后音频特征进行第一卷积处理，得到目标人声音频数据；其中，所述编码模块和所述第一解码模块构成第一U-net网络；

通过所述伴奏人声提取模型中的第二解码模块对所述编码后音频特征进行第二卷积处理，得到目标伴奏音频数据；其中，所述编码模块和所述第二解码模块构成第二U-net网络。

可选地，所述编码模块包括：N个降采样处理块；每个所述降采样处理块包括：第一残差单元和降采样层，N为正整数；

通过所述编码模块对所述混合音频数据进行编码处理，包括：

在每个所述降采样处理块中，依次通过所述第一残差单元和所述降采样层对输入该降采样处理块中的数据进行处理，得到降采样数据；

在存在下一个所述降采样处理块时，将所述降采样数据输入下一个所述降采样处理块。

可选地，所述第一解码模块包括：与所述N个降采样处理块对应的N个第一上采样处理块，每个所述第一上采样处理块包括：第二残差单元和第一上采样层；

通过所述第一解码模块对所述编码后音频特征进行第一卷积处理，包括：

在每个所述第一上采样处理块中，依次通过所述第一上采样层和所述第二残差单元对输入该第一上采样处理块中的数据进行处理，得到第一上采样数据；