[发明专利]一种音频处理方法、装置、介质和电子设备

说明书

本公开的实施方式提供了一种音频处理方法。该方法可以包括：获取待处理音频包括的多个音频帧中至少部分音频帧分别对应的频域信息，以及所述至少部分音频帧中相邻两个音频帧之间的频谱变化信息；基于所述频域信息与所述频谱变化信息，生成与所述待处理音频对应的输入特征；将所述输入特征输入音频类型识别模型，得到所述待处理音频对应的音频类型识别结果。从而可以使音频类型识别模型结合对识别音频类型有益的频率特征与能量变化特征进行音频类型识别，提升音频类型识别准确性，为用户带来了更好的体验。此外，本公开的实施方式提供了一种音频处理装置，介质与电子设备。

技术领域

本公开的实施方式涉及音频处理领域，更具体地，本公开的实施方式涉及一种音频处理方法、装置、介质和电子设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是相关技术。

WebRTC(Web Real-Time Communication，以下简称RTC)，即页面即时通信，是指通过网页浏览器进行实时通信的技术。

在一些实时通信场景中通常会涉及到音频数据的传输。而不同类型的音频数据的处理过程有所区别。如果将音乐数据当作非音乐数据(例如，语音数据或噪音)进行处理，则可能对有用的音乐数据造成损伤。

可见，在RTC中需要对音频数据进行分类。

发明内容

在本上下文中，本公开的实施方式期望提供一种音频处理方法、装置、介质和电子设备。

在本公开实施方式的第一方面中，提供了一种音频处理方法，包括：获取待处理音频包括的多个音频帧中至少部分音频帧分别对应的频域信息，以及所述至少部分音频帧中相邻两个音频帧之间的频谱变化信息；基于所述频域信息与所述频谱变化信息，生成与所述待处理音频对应的输入特征；将所述输入特征输入音频类型识别模型，得到所述待处理音频对应的音频类型识别结果；其中，所述音频类型识别模型包括基于多个标注了音频类型信息的音频样本训练得到的神经网络模型。

在一些实施例中，所述频域信息包括由第一预设数量的梅尔带分别对应的幅度所组成的梅尔频谱；所述频谱变化信息包括由所述相邻两个音频帧分别在各所述梅尔带下的幅度变化值。

在一些实施例中，所述音频类型识别模型包括卷积神经网络；所述卷积神经网络包括第二预设数量的卷积层与池化层。

在一些实施例中，所述第二预设数量不大于5。

在一些实施例中，所述音频样本包括多种音乐类型的音乐样本。

在一些实施例中，所述待处理音频包括通过音频数据采样得到的音频片段；其中，通过采样得到的相邻的两个音频片段至少包括部分相同的音频帧。

在一些实施例中，所述方法还包括：响应于所述音频类型识别结果指示所述待处理音频的类型为预设类型，对所述待处理音频数据进行动态范围压缩处理，并输出处理后的音频；响应于所述音频类型识别结果指示所述待处理音频的类型不是所述预设类型，对所述待处理音频数据进噪音抑制和/或自动增益控制处理，并输出处理后的音频。

在本公开实施方式的第二方面中，提供了一种音频处理装置，包括：获取模块，用于获取待处理音频包括的多个音频帧中至少部分音频帧分别对应的频域信息，以及所述至少部分音频帧中相邻两个音频帧之间的频谱变化信息；生成模块，用于基于所述频域信息与所述频谱变化信息，生成与所述待处理音频对应的输入特征；识别模块，用于将所述输入特征输入音频类型识别模型，得到所述待处理音频对应的音频类型识别结果；其中，所述音频类型识别模型包括基于多个标注了音频类型信息的音频样本训练得到的神经网络模型获取模定的目标文本进行聚类，并输出聚类结果。

在本公开实施方式的第三方面中，提供了一种介质，所述介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的音频处理方法。