[发明专利]一种音视频信息融合的麦克风阵列语音增强系统及方法

权利要求书

1.一种音视频信息融合的麦克风阵列语音增强系统，其特征在于包括视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，其中视频采集模块与音视频来波方向联合估计模块、音视频联合语音增强模块连接，用于采集应用场景中说话人的视频信号；麦克风阵列接收模块与音视频来波方向联合估计模块、麦克风阵列语音增强模块连接，用于接收说话人的音频信号；音视频来波方向联合估计模块与视频采集模块、麦克风阵列接收模块、麦克风阵列语音增强模块连接，利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块与麦克风阵列接收模块、音视频来波方向联合估计模块、音视频联合语音增强模块连接，利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块与视频采集模块、麦克风阵列语音增强模块连接，利用经麦克风阵列语音增强模块增强后的语音和视频采集模块输出的视频信号联合对语音进行二次增强处理；所述音视频来波方向联合估计模块包括视频声源定位模块、麦克风阵列声源定位模块和音视频定位信息融合模块，其中视频声源定位模块与音视频定位信息融合模块、上述视频采集模块连接，根据视频信号估计说话人在视频画面中的位置；麦克风阵列声源定位模块与音视频定位信息融合模块、上述麦克风阵列接收模块连接，根据麦克风阵列接收模块接收到的阵列语音信号来估计说话人语音的来波方向；音视频定位信息融合模块与视频声源定位模块、麦克风阵列声源定位模块和上述麦克风阵列语音增强模块连接，由视频定位信息与麦克风阵列声源定位信息估计当前说话人语音的来波方向。

2.根据权利要求1所述的一种音视频信息融合的麦克风阵列语音增强系统，其特征在于所述音视频联合语音增强模块包括噪声估计模块、音视频联合分类模块、音视频联合模型库、最佳滤波器系数生成模块和滤波模块，其中噪声估计模块与最佳滤波器系数生成模块、所述麦克风阵列语音增强模块连接，用于估计麦克风阵列语音增强模块输出语音中的噪声频谱；音视频联合分类模块与音视频联合模型库、最佳滤波器系数生成模块、上述视频采集模块、所述麦克风阵列语音增强模块连接，根据说话人产生的视频和音频信号对当前语音帧进行分类；音视频联合模型库与音视频联合分类模块连接，用于保存音视频联合分类的模型；最佳滤波器系数生成模块与噪声估计模块、音视频联合分类模块、滤波模块连接，根据音视频联合分类模块的分类结果和噪声计算当前语音帧的最佳滤波器系数；滤波模块与最佳滤波器系数生成模块、所述麦克风阵列语音增强模块连接，用于对麦克风阵列语音增强模块输出语音进行滤波增强。

3.利用权利要求1～2任一项所述的一种音视频信息融合的麦克风阵列语音增强系统的麦克风阵列语音增强方法，其特征在于包括以下步骤：

步骤1：通过视频采集模块、麦克风阵列接收模块同步采集视频和音频信号；

步骤2：音视频来波方向联合估计模块根据步骤1采集得到的同步音视频信号估计说话人音频的来波方向；

步骤3：麦克风阵列语音增强模块根据说话人音频的来波方向，对麦克风阵列接收模块采集到的音频信号进行增强；

步骤4：将步骤3中麦克风阵列语音增强模块输出的音频信号与步骤1中视频采集模块采集的视频信号进行同步，并通过音视频联合语音增强模块对麦克风阵列语音增强模块输出的音频信号进行增强。