[发明专利]一种回声消除方法、装置、存储介质及处理器

说明书

本申请公开了一种回声消除方法、装置、存储介质及处理器。该方法将伴奏音频数据和对端设备提供的对端音频数据进行混音，得到第一混音数据，并播放该第一混音数据，使得本端设备的用户能够听到伴奏和对端传输来的音频。本端设备采集了第一混音数据在本端播放后对应的衰减音频数据和本端音频数据，将采集的音频数据进行回声消除处理在内的音频处理操作，通过回声消除，输出的音频数据为不带有回声。将经过音频处理后的音频数据与伴奏音频数据进行混音，得到第二混音数据，最终向对端设备发送该第二混音数据。第二混音数据不包含伴奏回声和对端音频的回声，避免了本端播放伴奏时对端收听到回声，消除双方音视频交互的回声干扰，提升音视频交互质量。

技术领域

本申请涉及音频处理技术领域，特别是涉及一种回声消除方法、装置、存储介质及处理器。

背景技术

随着音视频技术的发展和硬件设备的迭代更新，在线教育软件、视频通话软件和娱乐连麦互动软件等需要进行音频处理的软件越来越多的走进了人们的生活中。这些软件的使用依赖于日趋完善的音视频互动技术。

在音视频互动过程中，容易产生回声问题，影响使用体验。下面通过示例简单描述音视频互动过程中回声的产生原理。假设用户A通过第一设备与使用第二设备的用户B进行音视频互动，第二设备的扬声器播放出用户A的声音，但是该声音在用户B所在的室内经过多个传播和反射路径后，与用户B的声音一同被第二设备的麦克风采集，然后发送给第一设备。如此一来，用户A通过第一设备的扬声器听到的声音也包括了自己的回声。显然，回声效果影响用户的音视频互动体验。

目前已有一些开源项目例如Webrtc和Speex可以对回声进行消除。但是音视频互动时，还常常面临播放伴奏音频给对端用户的需求。例如，教育软件中老师想要播放教学视频给学生看，教学视频中的音频即相当于老师音频的伴奏音频；或者，直播连麦软件中主播唱歌想要添加一个伴奏音乐，该伴奏音乐即相当于主播歌声的伴奏音频。此时如果使用其他的软件在本端播放上述伴奏音频，而由其他软件播放的伴奏音频不在已有成熟的声学回声消除(Acoustic Echo Canceler，AEC)技术处理范围内，这导致对端用户会听到两次甚至更多次的伴奏音频。

如何避免在设备播放伴奏音频时导致对端收听到的回声，已经成为本领域急需解决的技术问题。

发明内容

基于上述问题，本申请提供了一种回声消除方法、装置、存储介质及处理器，以在音视频互动一方播放伴奏音频时避免另一方收听到该伴奏音频的回声。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种回声消除方法，方法应用在本端设备，所述方法包括：

将伴奏音频数据和对端音频数据进行混音，得到第一混音数据；所述对端音频数据由与所述本端设备进行音频交互的对端设备提供；

播放所述第一混音数据；

采集所述第一混音数据播放后对应的衰减音频数据及本端音频数据；

利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据；所述音频处理包括：回声消除处理；

将所述处理后的音频数据和所述伴奏音频数据进行混音，得到第二混音数据；

向所述对端设备发送所述第二混音数据。

可选地，利用所述衰减音频数据和所述本端音频数据进行音频处理，得到处理后的音频数据，具体包括：

将所述衰减音频数据和所述本端音频数据共同作为音频处理的输入数据，对所述输入数据先后进行高通滤波处理、回声消除处理、噪声抑制处理、静音检测处理和增益控制处理，得到所述处理后的音频数据。

可选地，方法基于Webrtc实现，所述Webrtc包括用于导入所述伴奏文件的接口、播放线程和采集线程；