[发明专利]音频分离方法、装置、电子设备及存储介质

权利要求书

1.一种音频分离方法，其特征在于，包括：

获取待分离音频对应的频域幅度谱；

对所述频域幅度谱进行特征提取处理，得到所述待分离音频的频域特征图和时间特征图；所述频域特征图用于表征所述频域幅度谱在同一时刻不同频率维度的特征，所述时间特征图用于表征所述频域幅度谱在不同时刻频域维度的特征；

对所述频域特征图和所述时间特征图进行注意力融合处理，得到融合特征图；

对所述融合特征图进行解码处理，得到所述待分离音频对应的人声幅度谱和背景伴奏幅度谱。

2.根据权利要求1所述的方法，其特征在于，所述获取待分离音频对应的频域幅度谱，包括：

获取待分离音频；

对所述待分离音频进行时频转换处理，得到所述待分离音频对应的频域幅度谱；所述时频转换处理用于将所述待分离音频的时域音频采样点转换为频域特征。

3.根据权利要求1所述的方法，其特征在于，所述对所述频域幅度谱进行特征提取处理，得到所述待分离音频的频域特征图和时间特征图，包括：

将所述频域幅度谱输入频域转换网络，得到所述待分离音频的频域特征图；所述频域转换网络用于提取所述频域幅度谱在同一时刻不同频率维度的特征；

将所述频域幅度谱对应的转置幅度谱输入时间转换网络，得到所述待分离音频的时间特征图；所述时间转换网络用于提取所述频域幅度谱在不同时刻频域维度的特征。

4.根据权利要求3所述的方法，其特征在于，通过所述频域转换网络得到所述频域特征图的过程，包括：

记录输入的所述频域幅度谱中的各个音频特征的位置；

通过自注意力机制计算输入的各个位置的音频特征对输出的目标音频特征的权重，作为注意力结果；

将所述注意力结果映射到所述频域幅度谱的可分空间，得到所述待分离音频的频域特征图；所述可分空间的维度与所述频域幅度谱的维度相同。

5.根据权利要求1所述的方法，其特征在于，所述对所述频域特征图和所述时间特征图进行注意力融合处理，得到融合特征图，包括：

对所述频域特征图和所述时间特征图进行注意力提取处理，得到所述频域特征图和所述时间特征图各自对应的注意力图；所述注意力图包含有各个音频特征的权重值；

通过所述频域特征图和所述时间特征图各自对应的所述注意力图对所述频域特征图、所述时间特征图进行加权处理，得到所述频域特征图和所述时间特征图各自对应的加权特征图；

对所述频域特征图的加权特征图和所述时间特征图的加权特征图进行相加处理，得到所述融合特征图。

6.根据权利要求1所述的方法，其特征在于，所述对所述频域特征图和所述时间特征图进行注意力融合处理，得到融合特征图，还包括：

获取所述频域幅度谱对应的高维特征图；

对所述频域特征图、所述时间特征图和所述高维特征图进行注意力融合处理，得到融合特征图。

7.一种音频分离装置，其特征在于，包括：

获取单元，被配置为执行获取待分离音频对应的频域幅度谱；

提取单元，被配置为执行对所述频域幅度谱进行特征提取处理，得到所述待分离音频的频域特征图和时间特征图；所述频域特征图用于表征所述频域幅度谱在同一时刻不同频率维度的特征，所述时间特征图用于表征所述频域幅度谱在不同时刻频域维度的特征；

融合单元，被配置为执行对所述频域特征图和所述时间特征图进行注意力融合处理，得到融合特征图；

解码单元，被配置为执行对所述融合特征图进行解码处理，得到所述待分离音频对应的人声幅度谱和背景伴奏幅度谱。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的音频分离方法。