[发明专利]唇动增强的单声道和多声道声源分离

权利要求书

1.一种方法，包括：

基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和

至少所述基于运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源单声道音频信号相分离；

其中通过从包括多个学习子模型的融合学习模型执行音频与音频信号的分离。

2.根据权利要求1所述的方法，其中计算所述运动矢量包括基于所述面部特征至少计算LLD矢量和光流矢量。

3.根据权利要求1所述的方法，其中，在关注时段的每个时刻，基于在相应时刻目标说话者面部图像的宽度和高度，进一步归一化所述运动矢量。

4.根据权利要求1所述的方法，其中所述融合学习模型包括至少一个具有接收音频特征作为输入的输入层的学习子模型，以及至少一个具有接收图像特征作为输入的输入层的学习子模型。

5.根据权利要求4所述的方法，其进一步包括将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。

6.根据权利要求5所述的方法，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合音频特征和图像特征的矢量作为输入。

7.根据权利要求6所述的方法，其中所述融合学习模型通过基于所述融合的音频特征和视频特征执行源分离来输出目标掩模和噪声掩模。

8.一种系统，包括：

一个或多个处理器；和

通信地连接到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，所述计算机可执行模块在由所述一个或多个处理器执行时执行相关的操作，所述计算机可执行模块包括：

面部特征提取模块，所述面部特征提取模块被配置为基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和

源分离模块，所述源分离模块被配置为至少基于所述运动矢量，将与成分源相对应的音频与在所述关注时段内捕获的混合源单声道音频信号相分离；

其中，所述源分离模块被配置为通过包括多个学习子模型的融合学习模型将音频与音频信号分离。

9.根据权利要求8所述的系统，其中所述面部特征提取模块被配置为基于所述面部特征通过至少计算LLD矢量和光流矢量来计算所述运动矢量。

10.根据权利要求8所述的系统，其中，所述面部特征提取模块还被配置为：在关注时段的每个时刻，基于相应时刻所述目标说话者面部图像的宽度和高度，对所述运动矢量进行归一化。

11.根据权利要求8所述的系统，其中所述融合学习模型包括具有输入层的至少一个学习子模型，所述输入层接收音频特征作为输入，以及具有输入层的至少一个学习子模型，所述输入层接收图像特征作为输入。

12.根据权利要求11所述的系统，其中，所述源分离模块还被配置为将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。

13.根据权利要求12所述的系统，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合的音频特征和图像特征的矢量作为输入。

14.根据权利要求13所述的系统，其中，所述源分离模块还被配置为通过基于所述融合的音频特征和视频特征执行源分离的融合学习模型，输出目标掩模和噪声掩模。