[发明专利]语音识别方法及装置、神经网络训练方法及装置

说明书

本公开提供一种语音识别方法及装置、神经网络训练方法及装置；涉及人工智能技术领域。该神经网络训练方法包括：获取样本数据，所述样本数据包括混合语音频谱及其标注音素；通过第一子网络从混合语音频谱中提取目标语音频谱；通过第二子网络对所述目标语音频谱进行适应性转换以得到中间过渡表征；通过第三子网络，基于所述中间过渡表征进行音素识别；根据所述音素识别的结果以及所述标注音素，对所述第一子网络、第二子网络以及第三子网络的参数进行更新。本公开可以提升在复杂干扰声条件下的语音识别性能。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种实现语音识别的神经网络训练方法、实现语音识别的神经网络训练装置、语音识别方法、语音识别装置、电子设备以及计算机可读存储介质。

背景技术

随着科学技术的发展和硬件计算能力的大幅提升，目前越来越多的基于深度学习技术实现语音识别。

但声学场景中语音识别的实现往往受限于声学场景的变化性。举例而言，单声道语音信号受到非平稳噪声干扰的情形，如受背景音乐或多说话人干扰等，在实际应用场景中普遍存在。

尽管深度学习技术的引入为语音识别技术带来了巨大的性能改进，但传统的语音识别技术在这些复杂的环境中性能仍存在待优化之处。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种实现语音识别的神经网络训练方法、实现语音识别的神经网络训练装置、语音识别方法、语音识别装置、电子设备以及计算机可读存储介质，进而可以提升在复杂干扰声条件下的语音识别性能。

根据本公开的一个方面，提供一种实现语音识别的神经网络训练方法，所述神经网络包括第一至第三子网络，所述方法包括：

获取样本数据，所述样本数据包括混合语音频谱及其标注音素；

通过第一子网络从混合语音频谱中提取目标语音频谱；

通过第二子网络对所述目标语音频谱进行适应性转换以得到中间过渡表征；

通过第三子网络，基于所述中间过渡表征进行音素识别；

根据所述音素识别的结果以及所述标注音素，对所述第一子网络、第二子网络以及第三子网络的参数进行更新。

在本公开的一种示例性实施例中，通过第一子网络从混合语音频谱中提取目标语音频谱，包括：

将所述混合语音频谱嵌入到多维向量空间，得到所述混合语音频谱每个时频窗口对应的嵌入向量；

利用理想比率掩模对所述混合语音的各嵌入向量进行加权规整，得到与所述目标语音频谱对应的吸引子；

通过计算所述混合语音的各嵌入向量与吸引子之间的相似度，得到与所述目标语音频谱对应的目标掩蔽矩阵；

基于所述目标掩蔽矩阵，从所述混合语音频谱中提取所述目标语音频谱。

在本公开的一种示例性实施例中，所述方法还包括：

获取各所述样本数据对应的所述吸引子，并计算各所述吸引子的均值，得到全局吸引子。

在本公开的一种示例性实施例中，所述通过第二子网络对所述目标语音频谱进行适应性转换，包括：

根据所述目标语音频谱的时频窗口顺序，对各时频窗口的目标语音频谱依次进行适应性转换；其中，针对一所述时频窗口的转换过程包括：

根据当前转换过程针对的时频窗口的目标语音频谱和前一转换过程的隐含状态信息，生成当前转换过程的隐含状态信息；以及