[发明专利]语音识别方法及装置、神经网络训练方法及装置

权利要求书

1.一种实现语音识别的神经网络训练方法，所述神经网络包括第一至第三子网络；其特征在于，所述方法包括：

获取样本数据，所述样本数据包括混合语音频谱及其标注音素；

通过所述第一子网络从混合语音频谱中提取目标语音频谱；

通过所述第二子网络对所述目标语音频谱进行适应性转换以得到中间过渡表征；

通过所述第三子网络，基于所述中间过渡表征进行音素识别；

确定所述第一子网络、第二子网络以及第三子网络的联合损失函数；

根据所述音素识别的结果、所述标注音素以及所述联合损失函数，计算联合损失函数值；

根据所述联合损失函数值，对所述第一子网络、第二子网络以及第三子网络的参数进行更新。

2.根据权利要求1所述的神经网络训练方法，其特征在于，通过第一子网络从混合语音频谱中提取目标语音频谱，包括：

将所述混合语音频谱嵌入到多维向量空间，得到所述混合语音频谱每个时频窗口对应的嵌入向量；

利用理想比率掩模对所述混合语音的各嵌入向量进行加权规整，得到与所述目标语音频谱对应的吸引子；

通过计算所述混合语音的各嵌入向量与吸引子之间的相似度，得到与所述目标语音频谱对应的目标掩蔽矩阵；

基于所述目标掩蔽矩阵，从所述混合语音频谱中提取所述目标语音频谱。

3.根据权利要求2所述的神经网络训练方法，其特征在于，所述方法还包括：

获取各所述样本数据对应的所述吸引子，并计算各所述吸引子的均值，得到全局吸引子。

4.根据权利要求1所述的神经网络训练方法，其特征在于，所述通过第二子网络对所述目标语音频谱进行适应性转换，包括：

根据所述目标语音频谱的时频窗口顺序，对各时频窗口的目标语音频谱依次进行适应性转换；其中，针对一所述时频窗口的转换过程包括：

根据当前转换过程针对的时频窗口的目标语音频谱和前一转换过程的隐含状态信息，生成当前转换过程的隐含状态信息；以及

基于各所述隐含状态信息，得到当前转换过程针对的时频窗口的所述中间过渡表征。

5.根据权利要求4所述的神经网络训练方法，其特征在于，生成当前转换过程的隐含状态信息，包括：

根据当前时频窗口的目标语音频谱以及上一转换过程的隐含状态信息，计算候选状态信息、所述候选状态信息的输入权重、上一转换过程目标状态信息的遗忘权重和当前转换过程目标状态信息的输出权重；

根据所述遗忘权重对所述上一转换过程目标状态信息进行保留，得到第一中间状态信息；

根据所述候选状态信息的输入权重对所述候选状态信息进行保留，得到第二中间状态信息；

根据所述第一中间状态信息和第二中间状态信息，得到所述当前转换过程目标状态信息；

根据所述当前转换过程目标状态信息的输出权重对所述当前转换过程目标状态信息进行保留，得到当前转换过程的隐含状态信息。

6.根据权利要求4所述的神经网络训练方法，其特征在于，基于各所述隐含状态信息，得到当前转换过程针对的时频窗口的所述中间过渡表征，包括：

对所述各所述隐含状态信息进行以下一种或多种处理，得到当前转换过程针对的时频窗口的所述中间过渡表征：

非负映射、逐元素求对数、计算一阶差分、计算二阶差分、执行全局均值方差归一化以及添加前后时频窗口的特征。

7.根据权利要求1所述的神经网络训练方法，其特征在于，通过第三子网络基于所述中间过渡表征进行音素识别，包括：

通过至少一个卷积层将多维滤波器应用于所述中间过渡表征，生成卷积层输出；

在至少一个递归层中使用所述卷积层输出以生成递归层输出；

将所述递归层输出提供至至少一个全连接层，并对所述全连接层的输出应用非线性函数，以获得所述中间过渡表征包括的音素的后验概率。

8.根据权利要求7所述的神经网络训练方法，其特征在于，所述递归层包括长短期记忆网络。