[发明专利]一种音频处理的方法、装置、可读存储介质和电子设备

说明书

本发明实施例公开了一种音频处理的方法、装置、可读存储介质和电子设备。本发明实施例通过获取设定时长的第一音频；将所述第一音频输入到预先训练的音频检测模型，确定所述第一音频中的包括的至少一种语音类型，并确定所述至少一种语音类型中至少一种候选语音类型，其中，所述语音类型包括目标语音、非目标语音、干扰语音或背景噪声中的至少一项；在所述第一音频中通过预先训练的音频处理模型分离所述候选语音类型对应的至少一个音频流；根据所述至少一个音频流确定第二音频。通过上述方法，可以将目标语音对应的音频流从第一音频中分离出来，消除了非目标语音、干扰语音或背景噪声对目标语音的干扰。

技术领域

本发明涉及音频处理领域，具体涉及一种音频处理的方法、装置、可读存储介质和电子设备。

背景技术

随着直播行业的兴起，各行各业都采用直播的方式对自身进行介绍，让用户对其有更深入的了解，或者，通过直播的方式进行新闻的即时传播等等，直播越来越深入到人们生活中的方方面面。在直播场景中会存在各种各样的噪声，对主要的说话人(也可以称为主播)的声音进行干扰，影响直播的效果。

现有技术中，为了消除直播场景中的噪声干扰，可以通过对直播间的声场进行设计，降低噪声，但是对直播间的声场设计花费成本较大，且无法将非目标语音消除；还可以通过麦克风阵列降噪，但麦克风阵列也很难把非目标语音消除，且当声源距离过近时，麦克风阵列很难进行声源分离。

综上所述，如何较好的消除非目标语音，是目前需要解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种音频处理的方法、装置、可读存储介质和电子设备，消除了非目标语音和干扰语音，降低了非目标语音和干扰语音对目标语音的影响。

第一方面，本发明实施例提供了一种音频处理的方法，该方法包括：获取设定时长的第一音频；将所述第一音频输入到预先训练的音频检测模型，确定所述第一音频中的包括的至少一种语音类型，并确定所述至少一种语音类型中至少一种候选语音类型，其中，所述语音类型包括目标语音、非目标语音、干扰语音或背景噪声中的至少一项；在所述第一音频中通过预先训练的音频处理模型分离所述候选语音类型对应的至少一个音频流；根据所述至少一个音频流确定第二音频。

优选地，如权利要求1所述的方法，其特征在于，响应于所述音频流为N个，N为大于或等于2的正整数，所述根据所述至少一个音频流确定第二音频，具体包括：

根据所述N个音频流进行确定所述第二音频。

优选地，所述音频检测模型为声纹识别模型、语音活动检测模型以及语音事件检测模型的融合识别模型。

优选地，所述确定所述至少一种语音类型中至少一种候选语音类型，具体包括：

根据预先训练的分发模型，在所述至少一种语音类型中确定至少一种候选语音类型。

优选地，所述确定所述至少一种语音类型中至少一种候选语音类型，具体包括：

根据预先设定的规则，在所述至少一种语音类型中确定至少一种候选语音类型。

优选地，响应于所述候选语音类型为目标语音和背景噪音，所述根据所述N个音频流进行确定所述第二音频，具体包括：

将所述目标语音和背景噪音进行合成，生成所述第二音频。

优选地，所述音频处理模型为神经网络模型，用于对所述第一音频进行分流。

优选地，所述在所述第一音频中通过预先训练的音频处理模型分离所述候选语音类型对应的至少一个音频流，具体包括：

将所述音频检测模型中通过声纹识别模型生成的目标语音保存到特定说话人模型中，其中，所述特定说话人模型中还预先保存了多种非目标语音和干扰语音；