[发明专利]语音识别方法、装置、计算机设备和存储介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

获取目标领域的音频样本和对应所述音频样本的第一文本样本，以及未对应所述音频样本的目标领域的第二文本样本；

基于所述第二文本样本对训练前的语音识别网络中的解码器进行训练；

当所述语音识别网络的收敛程度达到第一收敛条件时，基于所述音频样本和所述第一文本样本对所述语音识别网络中的编码器和解码器进行训练，直至所述语音识别网络的收敛程度达到第二收敛条件，得到训练后的语音识别网络；

通过所述训练后的语音识别网络对待识别语音进行识别，得到识别文本。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二文本样本对训练前的语音识别网络中的解码器进行训练包括：

将所述第二文本样本输入训练前的语音识别网络中的解码器，以通过所述解码器对所述第二文本样本进行处理，得到解码文本；

基于所述第二文本样本以及所述解码文本计算得到第一损失值；

根据所述第一损失值对所述解码器的网络参数进行调整。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一损失值对所述解码器的网络参数进行调整包括：

在所述解码器的网络参数中，确定目标网络参数；所述目标网络参数为所述解码器中除交叉注意力层之外的其他网络参数；

根据所述第一损失值，对所述目标网络参数进行调整，并且在对所述目标网络参数进行调整的过程中使所述交叉注意力层的网络参数保持固定。

4.根据权利要求1所述的方法，其特征在于，所述基于所述音频样本和所述第一文本样本对所述语音识别网络中的编码器和解码器进行训练包括：

通过所述语音识别网络中编码器对所述音频样本进行编码，得到所述音频样本对应的字符序列；

通过所述语音识别网络中解码器对所述字符序列进行解码，得到预测文本；

根据所述字符序列、所述预测文本以及所述第一文本样本进行计算，得到第二损失值；

根据所述第二损失值对所述语音识别网络的网络参数进行调整。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二损失值对所述语音识别网络的网络参数进行调整包括：

打开所述语音识别网络中解码器的交叉注意力层；

根据所述第二损失值，对所述语音识别网络的网络参数进行调整；调整的网络参数包括所述语音识别网络中编码器的网络参数，以及打开所述交叉注意力层后的解码器的网络参数。

6.根据权利要求4所述的方法，其特征在于，所述根据所述字符序列、所述预测文本以及所述第一文本样本进行计算，得到第二损失值包括：

根据所述字符序列计算得到时序分类损失值；

基于所述预测文本以及所述第一文本样本进行计算，得到平滑交叉熵损失值；

基于所述预测文本计算得到文本交叉熵损失值；

对所述时序分类损失值、所述交叉熵损失值以及所述文本交叉熵损失值进行加权求和，得到第二损失值。

7.根据权利要求1所述的方法，其特征在于，所述获取目标领域的音频样本和对应所述音频样本的第一文本样本包括：

获取对所述目标领域的场景进行采集所得的音频样本；

对所述音频样本进行标注，得到所述音频样本对应的文本标签，并将所述文本标签作为对应所述音频样本的第一文本样本。

8.一种语音识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标领域的音频样本和对应所述音频样本的第一文本样本，以及未对应所述音频样本的目标领域的第二文本样本；

训练模块，用于基于所述第二文本样本对训练前的语音识别网络中的解码器进行训练；

所述训练模块，还用于当所述语音识别网络的收敛程度达到第一收敛条件时，基于所述音频样本和所述第一文本样本对所述语音识别网络中的编码器和解码器进行训练，直至所述语音识别网络的收敛程度达到第二收敛条件，得到训练后的语音识别网络；

识别模块，用于通过所述训练后的语音识别网络对待识别语音进行识别，得到识别文本。