[发明专利]用于单通道的语音识别模型的优化方法及系统

权利要求书

1.一种用于单通道的语音识别模型的优化方法，包括：

接收各带有真实标签向量的单人语音，以及由所述各单人语音合成的多人混合语音，分别将从所述各单人语音提取的语音特征输入至目标教师模型，得到所述各单人语音对应的目标软标签向量；

将所述多人混合语音输入至端到端学生模型，输出所述多人混合语音内每个人的输出标签向量，通过置换不变性方法(PIT)将所述多人混合语音内每个人的输出标签向量与所述各单人语音的真实标签向量进行配对，确定所述多人混合语音内每个人的输出标签向量的输出排列；

根据通过配对后确定输出排列的多人混合语音内每个人的输出标签向量，确定与所述各目标软标签向量的知识蒸馏损失，以及与所述各单人语音真实标签向量的直接的损失；

当根据所述知识蒸馏损失和直接的损失确定的联合误差未收敛时，根据所述联合误差对所述端到端学生模型进行反向传播，以更新所述端到端学生模型，直至所述联合误差收敛，确定优化后的用于单通道的语音识别学生模型。

2.根据权利要求1所述的方法，其中，所述将所述多人混合语音输入至端到端学生模型包括：

通过所述端到端学生模型内的被训练的神经网络对所述多人混合语音的语音特征进行特征投影，划分出所述多人混合语音内每个人的语音特征；

基于所述每个人的语音特征，通过所述端到端学生模型内的编码器确定出对应的连接时序分类(CTC)得分；

通过所述端到端学生模型内的解码器，将所述连接时序分类(CTC)最小得分对应的特征排列，转换为对应的输出标签向量；其中，所述标签向量通过字典映射，可以得到对应的文本序列。

3.根据权利要求2所述的方法，其中，在所述划分出所述多人混合语音内每个人的语音特征之后，所述方法还包括：

通过所述端到端学生模型内的注意力模块，对所述多人混合语音内每个人的语音特征进一步特征提取，确定出对应的注意力分数，以使得所述多人混合语音与单人输出标签向量时间对齐。

4.根据权利要求3所述的方法，其中，在所述确定出对应的注意力分数之后，所述方法还包括：

通过将各特征排列对应的所述连接时序分类(CTC)得分与所述注意力分数按照预设的识别模式加权，确定出各特征排列的联合得分；

将联合得分中最小得分的特征排列，转换为对应的输出标签向量。

5.根据权利要求2所述的方法，其中，在所述通过所述端到端学生模型内的被训练的神经网络对所述多人混合语音的语音特征进行特征投影之后，所述方法还包括：

根据所述端到端学生模型新添加的说话人自适应模块，获取所述多人混合语音内每个人的相关信息，以确定所述每个人的语音特征后，额外的确定所述每个人的上下文变量。

6.根据权利要求1所述的方法，其中，在所述接收各带有真实标签向量的单人语音之后，所述方法还包括：

通过所述各单人语音内人的语音和背景噪声，确定各单人语音的信噪比；

根据所述信噪比的大小对所述多人混合语音数据进行排序，以使得在语音识别模型的优化中达到循序渐进。

7.根据权利要求1所述的方法，其中，所述根据所述知识蒸馏损失和直接的损失确定的联合误差包括：

根据预设的训练模式对所述知识蒸馏损失和直接的损失加权求和，确定出联合误差。