[发明专利]语音识别模型训练方法、装置、设备及存储介质

权利要求书

1.一种语音识别模型训练方法，其特征在于，包括：

获取样本语音中各个分帧的频域特征向量，根据所述频域特征向量得到第一声学特征矩阵；

采用Wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵；以及，采用第一循环神经网络处理所述第二声学特征矩阵，得到第三声学特征矩阵；

获取所述样本语音对应文本中各个单词的词向量，根据所述词向量得到第一文本特征矩阵；以及，采用第二循环神经网络处理所述第一文本特征矩阵，得到第二文本特征矩阵；

组合所述第三声学特征矩阵和所述第二文本特征矩阵，得到组合矩阵；以及，采用联合网络处理所述组合矩阵得到输出矩阵；

根据所述样本语音对应的文本和所述输出矩阵，对所述语音识别模型进行训练。

2.根据权利要求1所述的方法，其特征在于，

所述语音识别模型包括所述Wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络；

所述对所述语音识别模型进行训练，包括：对所述Wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络进行联合训练。

3.根据权利要求1所述的方法，其特征在于，

在采用Wavenet前向网络处理所述第一声学特征矩阵前，还包括：采用卷积运算模块处理所述第一声学特征矩阵，得到第四声学特征矩阵；

所述采用Wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，包括：采用所述Wavenet前向网络处理所述第四声学特征矩阵，得到所述第二声学特征矩阵。

4.根据权利要求3所述的方法，其特征在于，所述采用卷积运算模块处理所述第一声学特征矩阵，得到第四声学特征矩阵，包括：

采用深度可分离卷积模块处理所述第一声学特征矩阵，得到所述第四声学特征矩阵。

5.根据权利要求1或2所述的方法，其特征在于，

所述第一循环神经网络和/或所述第二循环神经网络为具有动态残差连接的循环神经网络。

6.根据权利要求5所述的方法，其特征在于，

所述第一循环神经网络和/或所述第二循环神经网络为具有投影层的长短期记忆网络。

7.一种语音识别模型训练装置，其特征在于，包括：

语音特征获取单元，用于获取样本语音中各个分帧的频域特征向量，根据所述频域特征向量得到第一声学特征矩阵；

语音特征处理单元，用于采用Wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，以及，采用第一循环神经网络处理所述第二声学特征矩阵，得到第三声学特征矩阵；

文本特征获取单元，用于获取所述样本语音对应文本中各个单词的词向量，根据所述词向量得到第一文本特征矩阵；

文本特征处理单元，用于采用第二循环神经网络处理所述第一文本特征矩阵，得到第二文本特征矩阵；

联合处理单元，用于组合所述第三声学特征矩阵和所述第二文本特征矩阵，得到组合矩阵；以及，采用联合网络处理所述组合矩阵得到输出矩阵；

训练单元，用于根据所述样本语音对应的文本和所述输出矩阵，对所述语音识别模型进行训练。

8.根据权利要求7所述的装置，其特征在于，

所述语音识别模型包括所述Wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络；

所述训练单元对所述语音识别模型进行训练，包括：所述Wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络进行联合训练。

9.根据权利要求7所述的装置，其特征在于，还包括：

卷积运算单元，用于采用卷积运算处理所述第一声学特征矩阵，得到第四声学特征矩阵；

所述语音特征处理单元采用Wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，包括：采用所述Wavenet前向网络处理所述第四声学特征矩阵，得到所述第二声学特征矩阵。