[发明专利]语音处理方法、装置、设备和存储介质

权利要求书

1.一种基于神经网络的语音处理方法，包括：

获取混合语音输入，所述混合语音输入包括来自多个说话人的语音；

由编码器，对所述混合语音输入进行特征编码，以获取所述混合语音输入的第一混合语音特征序列；

由特征提取器，对所述第一混合语音特征序列进行特征提取，以获取第二混合语音特征序列，其中，所述第二混合语音特征序列与所述第一混合语音特征序列的维度相同；

由语音识别器，基于所述第二混合语音特征序列，获取表征所述多个说话人中的每个说话人的识别信息的语音识别特征；

由语音分离器，基于所述第二混合语音特征序列以及所述语音识别特征，获取分别与所述多个说话人中的每个说话人相对应的多个分离语音表示；以及

由解码器，对所述多个分离语音表示进行解码，以获取分别与所述多个说话人中的每个说话人相对应的多个分离语音。

2.如权利要求1所述的方法，其中，由编码器，对所述混合语音输入进行特征编码，以获取所述混合语音输入的第一混合语音特征序列，包括：

对所述混合语音输入进行特征编码，以获取初始混合语音特征序列，所述初始混合语音特征序列的第一维度为特征维度，且所述初始混合语音特征序列的第二维度为时域步长维度；

对所述初始混合语音特征序列进行分段，以获取所述第一混合语音特征序列，所述第一混合语音特征序列的第一维度为特征维度，所述第一混合语音特征序列的第二维度为块内索引维度，且所述第一混合语音特征序列的第三维度为分块索引维度。

3.如权利要求1所述的方法，其中，所述特征提取器包括级联的第一数量M个特征提取块，其中，由特征提取器，对所述第一混合语音特征序列进行特征提取，以获取第二混合语音特征序列包括：

由第1个特征提取块，对所述第一混合语音特征序列进行特征提取，以获取第1中间特征序列；

由第m个特征提取块，对从第m-1个特征提取块接收的第m-1中间特征序列进行特征提取，以获取第m中间特征序列，其中，m为大于1且小于M的整数，M为大于等于2的整数；

由第M个特征提取块，对从第M-1个特征提取块接收的第M-1中间特征序列进行特征提取，以获取所述第二混合语音特征序列，

其中，对于所述第1中间特征序列、所述第m中间特征序列以及所述第二混合语音特征序列中的每一个序列，其第一维度为特征维度，其第二维度为块内索引维度，且其第三维度为分块索引维度。

4.如权利要求1-3中任一项所述的方法，其中，所述语音识别器包括投影器、嵌入提取器以及级联的第二数量A个语音识别块，其中，由语音识别器，基于所述第二混合语音特征序列，获取表征所述多个说话人中的每个说话人的识别信息的语音识别特征包括：

由所述级联的第二数量A个语音识别块，对所述第二混合语音特征序列进行特征转换，以获取第一混合语音识别特征，其中，所述第一混合语音识别特征的第一维度为特征维度，第二维度为块内索引维度，且第三维度为分块索引维度；

由所述投影器，对所述第一混合语音识别特征进行投影，以获取第二混合语音识别特征，其中，所述第二混合语音识别特征的第一维度为特征维度，第二维度为说话人索引维度，第三维度为块内索引维度，且第四维度为分块索引维度；

由所述嵌入提取器，对所述第二混合语音识别特征在块内索引维度上进行池化处理，以获取粗尺度语音识别特征，其中，所述粗尺度语音识别特征的第一维度为特征维度，第二维度为说话人索引维度，且第三维度为分块索引维度；以及

由所述嵌入提取器，对所述粗尺度语音识别特征在分块索引维度上进行池化处理，以获取表征所述多个说话人中的每个说话人的识别信息的语音识别特征。

5.如权利要求4所述的方法，其中，所述语音分离器包括语音调制块，其中，基于所述第二混合语音特征序列以及所述语音识别特征，获取分别与所述多个说话人中的每个说话人相对应的多个分离语音表示包括：

由语音调制块，利用所述语音识别特征对所述第二混合语音特征序列进行调制，以获取分别与所述多个说话人中的每个说话人相对应的多个分离语音表示。