[发明专利]语音处理方法、装置、设备及存储介质

权利要求书

1.一种语音处理方法，其特征在于，包括：

获取目标语音信号和与所述目标语音信号同步采集的至少一个目标图像序列；所述目标图像序列中的图像为唇动相关区域的图像；

获取所述目标语音信号的频谱图，以及所述目标语音信号的声学特征；

基于所述频谱图、所述声学特征以及所述至少一个目标图像序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征；

基于所述第一融合特征从所述目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述频谱图、所述声学特征以及所述至少一个目标图像序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征，包括：

分别获取所述频谱图的隐层特征、所述声学特征的隐层特征以及每个目标图像序列的隐层特征序列；

利用所述频谱图的隐层特征、所述声学特征的隐层特征以及每个目标图像序列的隐层特征序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征。

3.根据权利要求2所述的方法，其特征在于，所述利用所述频谱图的隐层特征、所述声学特征的隐层特征以及每个目标图像序列的隐层特征序列获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征，包括：

将所述频谱图的隐层特征、所述声学特征的隐层特征以及所述至少一个目标图像序列的隐层特征序列进行拼接，得到拼接特征；对所述拼接特征进行处理，得到所述第一融合特征；

或者，

对应每个目标图像序列，将该目标图像序列的隐层特征序列、所述频谱图的隐层特征以及所述声学特征的隐层特征进行拼接，得到该目标图像序列对应的拼接特征；对每一个目标图像序列对应的拼接特征分别进行处理，得到所述目标语音信号与每一个目标图像序列的第一融合特征。

4.根据权利要求2所述的方法，其特征在于，获得所述第一融合特征，基于所述第一融合特征从所述目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图的过程，包括：

利用语音处理模型处理所述频谱图、所述声学特征以及所述至少一个目标图像序列，得到从所述目标语音信号的频谱图中分离出的与各个目标图像序列对应的子语音信号的频谱图；

其中，所述语音处理模型具备分别获取所述频谱图的隐层特征、所述声学特征的隐层特征以及每个目标图像序列的隐层特征序列；利用所述频谱图的隐层特征、所述声学特征的隐层特征以及每个目标图像序列的隐层特征序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征；基于所述第一融合特征从所述目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图的能力。

5.根据权利要求4所述的方法，其特征在于，所述语音处理模型通过如下方式训练得到：

利用所述语音处理模型分别获取样本语音信号的频谱图的隐层特征、所述样本语音信号的声学特征的隐层特征以及与所述样本语音信号同步采集的至少一个样本图像序列中各个样本图像序列的隐层特征序列；

利用所述样本语音信号的频谱图的隐层特征、所述样本语音信号的声学特征的隐层特征以及各个样本图像序列的隐层特征序列，获得所述样本语音信号与所述至少一个样本图像序列的第一融合特征；

基于所述样本语音信号与所述至少一个样本图像序列的第一融合特征从所述样本语音信号的频谱图中分离出与各个样本图像序列对应的子语音信号的频谱图；

以从所述样本语音信号的频谱图中分离出的与各个样本图像序列对应的子语音信号的频谱图趋近于与各个样本图像序列对应的频谱图标签为目标，对所述语音处理模型的参数进行更新。