[发明专利]语音处理方法、装置、设备及存储介质

说明书

本申请实施例公开了一种语音处理方法、装置、设备及存储介质，在获取目标语音信号和与目标语音信号同步采集的至少一个目标图像序列后，基于目标语音信号的频谱图，目标语音信号的声学特征，以及至少一个目标图像序列获得目标语音信号与至少一个目标唇部图像序列的第一融合特征，利用该第一融合特征从目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图，实现了语音分离。其中，唇动相关区域的图像序列的数量明确了语音分离的目标数量，声学特征和唇动相关区域的图像序列中携带的唇动信息保证分离出的频谱图不会失真，从而提高多人场景下语音分离的准确性，基于分离出的语音信号的语音识别效果也就相应的提高。

技术领域

本申请涉及自然语言处理技术领域，更具体地说，涉及一种语音处理方法、装置、设备及存储介质。

背景技术

多人场景下的语音识别一直是语音识别领域中的难点，尤其是当多人同时说话使得说话声重叠时，直接对采集的语音信号进行语音识别很难做到对某个特定人的语音识别，其识别结果是多人语音混叠的结果，错误率高且难以理解。

为了实现多人场景下对特定人的语音识别，目前常用的做法是先从多人混叠的语音中分离出单人语音，然后对分离出的单人语音进行语音识别。然而，本申请的发明人研究发现，这种语音识别方式在一定程度上提高了多人场景下的语音识别的准确率，但由于语音分离任务易出现错分、漏分，甚至语音失真的情况，目前的语音识别的准确率仍然较低。

因此，如何提高多人场景下的语音识别效果成为亟待解决的技术问题。

发明内容

有鉴于此，本申请提供了一种语音处理方法、装置、设备及存储介质，以提高多人场景下的语音识别效果。

为了实现上述目的，现提出的方案如下：

一种语音处理方法，包括：

获取目标语音信号和与所述目标语音信号同步采集的至少一个目标图像序列；所述目标图像序列中的图像为唇动相关区域的图像；

获取所述目标语音信号的频谱图，以及所述目标语音信号的声学特征；

基于所述频谱图、所述声学特征以及所述至少一个目标图像序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征；

基于所述第一融合特征从所述目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图。

一种语音处理方法，包括：

获取目标语音信号和与所述目标语音信号同步采集的至少一个目标图像序列；所述目标图像序列中的图像为唇动相关区域的图像；

获取所述目标语音信号的频谱图，以及所述目标语音信号的声学特征；

基于所述频谱图、所述声学特征以及所述至少一个目标图像序列，获得所述目标语音信号与每一个目标图像序列的第三融合特征；

对应每一个目标图像序列，基于所述目标语音信号与该目标图像序列的第三融合特征进行语音识别，得到所述目标语音信号中与该目标图像序列对应的子语音信号的语音内容。

一种语音处理装置，包括：

第一获取模块，用于获取目标语音信号和与所述目标语音信号同步采集的至少一个目标图像序列；所述目标图像序列中的图像为唇动相关区域的图像；

第二获取模块，用于获取所述目标语音信号的频谱图，以及所述目标语音信号的声学特征；

第一融合模块，用于基于所述频谱图、所述声学特征以及所述至少一个目标图像序列，获得所述目标语音信号与所述至少一个目标图像序列的第一融合特征；

分离模块，用于基于所述第一融合特征从所述目标语音信号的频谱图中分离出与各个目标图像序列对应的子语音信号的频谱图。