[发明专利]一种语音处理模型的训练方法及装置

说明书

本申请提供一种语音处理模型的训练方法及装置。其中，所述方法包括：获取训练样本和样本标签，所述训练样本包括源语言语音数据，所述样本标签包括标准目标语言语句和标准源语言音标序列；将所述源语言语音数据输入至所述编码器中进行处理，生成编码向量；将所述编码向量输入至所述第一解码器中进行处理，生成目标语言语句，并基于所述目标语言语句和所述标准目标语言语句对所述语音翻译模型进行更新；将所述编码向量输入至所述第二解码器中进行处理，生成源语言音标序列，并基于所述源语言音标序列与所述标准源语言音标序列对所述声学模型进行更新。本申请提供的语音处理模型的训练方法及装置，可以有效提升模型的训练效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种语音处理模型的训练方法及装置、计算设备及计算机可读存储介质。

背景技术

语音识别技术，也被称为自动语音识别(Automatic Speech Recognition，ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。

机器翻译，又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。现有的机器翻译技术主要是针对源语言文本到目标语言文本。

目前，对于语音数据的翻译是先通过ASR识别出文本，再利用传统的机器翻译技术将识别出的文本翻译成目标语言文本。但是此种翻译方法易造成语音识别及机器翻译两阶段的错误累加，翻译结果不准确。

发明内容

有鉴于此，本申请实施例提供了一种语音处理模型的训练方法及装置、计算设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种语音处理模型的训练方法，所述语音处理模型包括语音翻译模型和声学模型，所述语音翻译模型和声学模型包括同一个编码器，所述语音翻译模型还包括第一解码器，所述声学模型还包括第二解码器；

所述训练方法，包括：

获取训练样本和样本标签，所述训练样本包括源语言语音数据，所述样本标签包括标准目标语言语句和标准源语言音标序列；

将所述源语言语音数据输入至所述编码器中进行处理，生成编码向量；

将所述编码向量输入至所述第一解码器中进行处理，生成目标语言语句，并将所述目标语言语句和所述标准目标语言语句进行对比，基于所述目标语言语句和所述标准目标语言语句的对比结果，对所述语音翻译模型进行更新；

将所述编码向量输入至所述第二解码器中进行处理，生成源语言音标序列，并将所述源语言音标序列和所述标准语言音标序列进行对比，基于所述源语言音标序列与所述标准源语言音标序列的对比结果，对所述声学模型进行更新。

进一步地，所述编码器包括编码单元，所述编码单元包括m层编码层，其中，m＞1，且m为整数；

所述将所述源语言语音数据输入至所述编码器中进行处理，生成编码向量，包括：

S11、将所述源语言语音数据输入至第1层编码层中进行处理，生成第1层编码层的输出向量；

S12、将第n-1层编码层的输出向量输入至第n层编码层中进行处理，生成第n层编码层的输出向量，其中n≤m，且n为整数；

S13、将n自增1，判断自增1后的n是否小于等于m；若是，则执行步骤S12；若否，则执行步骤S14；

S14、将所述第n层编码层的输出向量作为编码向量。

进一步地，所述第一解码器包括第一注意力单元和第一解码单元；

所述将所述编码向量输入至所述第一解码器中进行处理，生成目标语言语句，包括：