[发明专利]音频数据的处理方法、装置、设备及存储介质

说明书

本公开实施例公开了一种音频数据的处理方法、装置、设备及存储介质。包括：获取当前数据包的前向数据包包含的音频数据；将所述音频数据转换为频谱信号；对所述频谱信号进行基音分析，获取所述频谱信号的基音频率；在所述频谱信号中确定所述基音频率对应的倍频以及倍频幅值；对所述倍频幅值进行编码压缩，获得压缩数据；将所述压缩数据添加至所述当前数据包中，并将所述当前数据包发送至接收端。本公开实施例提供的音频数据的处理方法，在数据发送端根据前向音频数据的频谱信号提取出基音频率，并获取基音频率对应的倍频幅值，将倍频幅值编码压缩后添加至当前数据包中，可以节省传输带宽。

技术领域

本公开实施例涉及音频数据传输技术领域，尤其涉及一种音频数据的处理方法、装置、设备及存储介质。

背景技术

在音频传输过程中，为应对可能发生的丢包情况，一般会采用前向纠错(ForwardError Correction，FEC)技术，通过在音频包中插入冗余信息，用于恢复丢失的音频帧。当开启前向纠错时，会在当前音频包中插入一段低码率的上一帧音频，当发生音频丢失时，可以在接收到下一个音频包时，恢复出当前音频帧和上一个音频帧。但是由于该方法中前向纠错恢复所使用的信息依然是线性预测编码进行压缩后的信息，当比特率低于6kbit/s时，音质会出现断崖式下降，因此即使是前向纠错，也无法压缩到较低比特率。这样会导致在码率一定的情况下，前向纠错的能力不足，难以应对连续多个音频包发生丢失的场景。当使用极低码率对音频进行编码时，由于大量的细节在编码过程中发生损失，恢复出的音频听感较差。

发明内容

本公开实施例提供一种音频数据的处理方法、装置、设备及存储介质，以恢复出丢失的音频数据，不仅可以节省传输带宽，还可以提高恢复音频数据的质量。

第一方面，本公开实施例提供了一种音频数据的处理方法，所述方法由数据发送端执行，包括：

获取当前数据包的前向数据包包含的音频数据；

将所述音频数据转换为频谱信号；

对所述频谱信号进行基音分析，获取所述频谱信号的基音频率；

在所述频谱信号中确定所述基音频率对应的倍频以及倍频幅值；

对所述倍频幅值进行编码压缩，获得压缩数据；

将所述压缩数据添加至所述当前数据包中，并将所述当前数据包发送至接收端。

第二方面，本公开实施例还提供了一种音频数据的处理方法，所述方法由数据接收端执行，包括：

检测到数据包丢失时，获取丢失数据包的后向数据包中的压缩数据；

对所述压缩数据进行解码处理，获得初始频谱；

获取所述丢失数据包的前向数据包中的设定数量的前向频谱；

将所述前向频谱和所述初始频谱进行拼帧处理，并将拼帧处理后的频谱输入设定神经网络进行语音增强，获得目标频谱；

对所述目标频谱的相位进行重建，根据重建的相位和目标频谱确定目标音频数据。

第三方面，本公开实施例还提供了一种音频数据的处理装置，所述装置设置于数据发送端，包括：

音频数据获取模块，用于获取当前数据包的前向数据包包含的音频数据；

频谱信号转换模块，用于将所述音频数据转换为频谱信号；

基音频率获取模块，用于对所述频谱信号进行基音分析，获取所述频谱信号的基音频率；

倍频幅值确定模块，用于在所述频谱信号中确定所述基音频率对应的倍频以及倍频幅值；

压缩数据获取模块，用于对所述倍频幅值进行编码压缩，获得压缩数据；