[发明专利]音频对齐方法、装置、电子设备及存储介质

权利要求书

1.一种用于音频对齐的方法，其特征在于，包括：

获取伴奏信号以及采集的包含外放伴奏的歌声信号；

对所述伴奏信号和所述歌声信号分别进行短时傅里叶变换，以获得与所述伴奏信号对应的第一频域音频信号和与所述歌声信号对应的第二频域音频信号；

基于第一频域音频信号和第二频域音频信号，估计第一频域音频信号与第二频域音频信号中与所述外放伴奏对应的频域信号分量之间每个时刻的延迟帧数；

将所述每个时刻的延迟帧数与所述每个时刻之前的连续多个时刻的延迟帧数构成预定长度的延迟序列，作为与所述每个时刻对应的延迟序列；

通过对与所述每个时刻对应的延迟序列进行置信度判断来确定延迟序列中置信度最高的延迟帧数，并将所述置信度最高的延迟帧数作为所述每个时刻的最终延迟帧数；

根据所述每个时刻的最终延迟帧数对所述歌声信号进行调整以使所述歌声信号与所述伴奏信号对齐。

2.如权利要求1所述的方法，其特征在于，所述通过对与所述每个时刻对应的延迟序列进行置信度判断来确定延迟序列中置信度最高的延迟帧数，包括：

基于与所述歌声信号对应的乐器数字接口MIDI信息或具有时间标注的歌词信息对与所述每个时刻对应的延迟序列进行置信度判断，来确定延迟序列中置信度最高的延迟帧数。

3.如权利要求2所述的方法，其特征在于，所述基于与所述歌声信号对应的乐器数字接口MIDI信息或具有时间标注的歌词信息对与所述每个时刻对应的延迟序列进行置信度判断，来确定延迟序列中置信度最高的延迟帧数，包括：

基于与所述歌声信号对应的乐器数字接口MIDI信息或具有时间标注的歌词信息，确定与延迟序列中的各个时刻对应的歌声信号是否存在歌声；

根据确定结果以及延迟序列，获得与延迟序列对应的统计直方图；

将与统计直方图中的最大值对应的延迟帧数作为所述置信度最高的延迟帧数。

4.如权利要求1所述的方法，其特征在于，所述根据所述每个时刻的最终延迟帧数对所述歌声信号进行调整以使所述歌声信号与所述伴奏信号对齐，包括：

根据预定的最大容忍延迟帧数确定所述每个时刻的时域延迟样点数；

基于所述每个时刻的时域延迟样点数，对所述歌声信号进行调整；

对调整后的歌声信号进行平滑处理。

5.如权利要求4所述的方法，其特征在于，所述根据预定的最大容忍延迟帧数确定所述每个时刻的时域延迟样点数，包括：

响应于所述每个时刻的前一时刻的最终延迟帧数小于或等于所述每个时刻的最终延迟帧数与所述最大容忍延迟帧数之和并且大于或等于所述每个时刻的最终延迟帧数与所述最大容忍延迟帧数之差，依据所述前一时刻的最终延迟帧数确定所述每个时刻的时域延迟样点数；

响应于述每个时刻的前一时刻的最终延迟帧数小于所述每个时刻的最终延迟帧数与所述最大容忍延迟帧数之差并且大于所述每个时刻的最终延迟帧数与所述最大容忍延迟帧数之和，依据所述每个时刻的最终延迟帧数确定所述每个时刻的时域延迟样点数。

6.如权利要求1所述的方法，还包括：将对齐的所述歌声信号和所述伴奏信号进行混音处理，得到混合后的歌曲信号。

7.一种用于音频对齐的装置，其特征在于，包括：

信号获取单元，被配置为获取伴奏信号以及采集的包含外放伴奏的歌声信号；

延迟估计单元，被配置为：对所述伴奏信号和所述歌声信号分别进行短时傅里叶变换，以获得与所述伴奏信号对应的第一频域音频信号和与所述歌声信号对应的第二频域音频信号；基于第一频域音频信号和第二频域音频信号，估计第一频域音频信号与第二频域音频信号中与所述外放伴奏对应的频域信号分量之间每个时刻的延迟帧数；

调整单元，被配置为：将所述每个时刻的延迟帧数与所述每个时刻之前的连续多个时刻的延迟帧数构成预定长度的延迟序列，作为与所述每个时刻对应的延迟序列；通过对与所述每个时刻对应的延迟序列进行置信度判断来确定延迟序列中置信度最高的延迟帧数，并将所述置信度最高的延迟帧数作为所述每个时刻的最终延迟帧数；根据所述每个时刻的最终延迟帧数对所述歌声信号进行调整以使所述歌声信号与所述伴奏信号对齐。