[发明专利]一种音视频信息融合的麦克风阵列语音增强系统及方法

说明书

本发明公开一种音视频信息融合的麦克风阵列语音增强系统及方法。所述系统包括视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，视频采集模块用于采集应用场景中说话人的视频信号；麦克风阵列接收模块用于接收说话人的音频信号；音视频来波方向联合估计模块利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块利用语音和视频信号联合对语音进行二次增强处理。本发明能显著提高麦克风阵列语音增强系统的性能，能广泛应用于视频会议、车载电话、移动视频通话终端等场合。

技术领域

本发明涉及语音信号处理领域，特别是一种音视频信息融合的麦克风阵列语音增强系统。

背景技术

通话设备在实际使用环境中容易受到背景噪音和混响等干扰，使语音信号的质量和可懂度受到影响，因此在许多通话应用中都需要进行有效的语音增强处理，以抑制噪声，提高语音清晰度、可懂度和舒适度。

目前常用的语音增强方法主要包括两类，一类是基于单麦克风的语音增强方法，包括谱减法、维纳滤波、MMSE、卡尔曼滤波、小波变换等，这类方法利用单麦克风接收语音信号，通过时域、频域、小波变换域等滤波和处理来抑制噪声，提高语音的质量；另一类是基于麦克风阵列的语音增强方法，利用多个麦克风接收到的语音信号里包含的空间相位信息对输入语音进行空间滤波，形成具有指向性的空间波束，对指定方向上的语音信号进行增强，能取得比单麦克风更好的增强效果。

现有的麦克风阵列语音增强技术可以大致分为固定波束形成法、自适应波束形成法、后置滤波法三类。固定波束形成法采用延迟相加进行时延补偿且滤波器的权值固定不变，具有运算量低，容易实现等优点，但不具备自适应抑制强干扰的能力。自适应波束形成法中，滤波器系数随着输入信号统计特性的变化而变化，使波束方向零陷对准噪声方向，而注视方向上信号的频率响应固定不变，以此来抑制其它方向上的干扰噪声。后置滤波法根据各信道接收信号间的自相关和互相关特性调整维纳滤波器的系数，含噪的语音信号经过维纳滤波后得到最小均方误差准则下的目标语音估计信号，可以在不相关噪声的环境下以较少的麦克风数目获得较好的消噪性能。但现有的麦克风阵列语音增强技术均基于空气传导的语音传感器，在实际应用中存在着以下的不足：(1)当环境噪声较强时，输出的语音质量不高；(2)当使用环境中存在多个声源时，麦克风阵列的来波方向估计容易出现错误判断；(3)当使用环境中存在多个声源时，传统的来波方向估计通常选择声音最强的声源信号进行增强，不方便使用者指定某个声源进行监听。

发明内容

针对现有麦克风阵列语音增强技术的不足，本发明提供一种音视频信息融合的麦克风阵列语音增强系统及方法，该系统利用音频和视频信息受噪声影响方式的不同，将视频信息用于提高麦克风阵列来波方向估计准确度和麦克风阵列增强语音的质量，能显著提高现有麦克风阵列语音增强系统的性能，可以广泛应用于视频会议、车载电话、移动视频通话终端等场合。

本发明的目的至少通过如下技术方案之一实现。

一种音视频信息融合的麦克风阵列语音增强系统，其包括视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，其中视频采集模块与音视频来波方向联合估计模块、音视频联合语音增强模块连接，用于采集应用场景中说话人的视频信号；麦克风阵列接收模块与音视频来波方向联合估计模块、麦克风阵列语音增强模块连接，用于接收说话人的音频信号；音视频来波方向联合估计模块与视频采集模块、麦克风阵列接收模块、麦克风阵列语音增强模块连接，利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块与麦克风阵列接收模块、音视频来波方向联合估计模块、音视频联合语音增强模块连接，利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块与视频采集模块、麦克风阵列语音增强模块连接，利用经麦克风阵列语音增强模块增强后的语音和视频采集模块输出的视频信号联合对语音进行二次增强处理。