[发明专利]音频数据的处理方法、装置、设备及存储介质

权利要求书

1.一种音频数据的处理方法，其特征在于，所述方法由数据发送端执行，包括：

获取当前数据包的前向数据包包含的音频数据；

将所述音频数据转换为频谱信号；

对所述频谱信号进行基音分析，获取所述频谱信号的基音频率；

在所述频谱信号中确定所述基音频率对应的倍频以及倍频幅值；

对所述倍频幅值进行编码压缩，获得压缩数据；

将所述压缩数据添加至所述当前数据包中，并将所述当前数据包发送至接收端。

2.根据权利要求1所述的方法，其特征在于，将所述音频数据转换为频谱信号，包括：

采用设定采样频率对所述音频数据进行采样，获得离散音频数据；

对所述离散音频数据进行加窗处理，并对加窗处理后的离散音频数据进行傅里叶变换，获得频谱信号。

3.根据权利要求1所述的方法，其特征在于，对所述倍频幅值进行编码压缩，获得压缩数据，包括：

将所述倍频幅值均值插值于所述频谱信号对应的频率范围内的频点上；

对均匀插值的倍频幅值进行归一化处理；

对归一化处理的倍频幅值进行编码压缩，获得压缩数据。

4.根据权利要求3所述的方法，其特征在于，对归一化处理的倍频幅值进行编码压缩，获得压缩数据，包括：

对归一化处理的倍频幅值进行编码压缩，获得量化索引值；

基于所述量化索引值生成压缩数据；其中，压缩数据还包括所述基音频率和归一化采用的基准量。

5.一种音频数据的处理方法，其特征在于，所述方法由数据接收端执行，包括：

检测到数据包丢失时，获取丢失数据包的后向数据包中的压缩数据；

对所述压缩数据进行解码处理，获得初始频谱；

获取所述丢失数据包的前向数据包中的设定数量的前向频谱；

将所述前向频谱和所述初始频谱进行拼帧处理，并将拼帧处理后的频谱输入设定神经网络进行语音增强，获得目标频谱；

对所述目标频谱的相位进行重建，根据重建的相位和目标频谱确定目标音频数据。

6.根据权利要求5所述的方法，其特征在于，所述压缩数据包括基音频率、归一化采用的基准量和量化索引值；对所述压缩数据进行解码处理，获得初始频谱，包括：

根据所述基音频率确定倍频；

根据所述量化索引值确定初始倍频幅值及所述倍频幅值所在频点；

基于所述归一化采用的基准量对所述初始倍频幅值进行逆归一化处理，获得目标倍频幅值；

基于所述目标倍频幅值及所述频点确定初始频谱。

7.根据权利要求5所述的方法，其特征在于，所述设定神经网络包括至少两个降采样模块、瓶颈块及至少两个升采样模块；其中，所述降采样模块与升采样模块一一对应；

所述降采样模块包括残差块和池化层；所述瓶颈块包括至少一个残差块；所述升采样模块包括残差块和上采样层；其中，所述残差块包括设定数量的卷积层，且第一个卷积层与最后一个卷积层通过加法连接；所述升采样模块的输入包括上一层的输出以及对应的降采样模块的输出。

8.根据权利要求5所述的方法，其特征在于，对所述目标频谱的相位进行重建，包括：

确定所述目标频谱各频点的相位增量；根据所述相位增量及所述目标频谱前一帧音频数据的相位确定各频点的初始相位；

对所述初始相位进行优化，获得重建的目标相位。

9.根据权利要求8所述的方法，其特征在于，确定所述目标频谱各频点的相位增量，包括：

遍历所述目标频谱的频点值，获得峰值频点；其中，所述频点值为频点对应的幅值；

基于所述峰值频点的上一个频点值和下一个频点值确定所述峰值频点的偏移量；

根据所述偏移量确定真实峰值频率；

根据所述真实峰值频率确定峰值频点处的相位增量；

根据所述峰值频点处的相位增量确定非峰值频点的相位增量。