[发明专利]语句翻译模型的训练方法及装置、语句翻译方法及装置

说明书

本申请提供语句翻译模型的训练方法及装置、语句翻译方法及装置，其中所述语句翻译模型包括编码器和解码器，所述语句翻译模型的训练方法包括：获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。

技术领域

本申请涉及互联网技术领域，特别涉及一种语句翻译模型的训练方法及装置、语句翻译方法及装置、计算设备和计算机可读存储介质。

背景技术

随着互联网技术的提升，神经网络的应用越来越广泛，例如构建神经机器翻译模型，以实现待翻译语句到目标语句的转换。神经机器翻译模型是一种端到端的网络结构，架构包括：编码器（encoder）—解码器（decoder）。其中编码器对输入信息进行编码处理获得编码结果，然后解码器同时接收解码器的输入、编码器的编码结果进行解码，并将解码信息输入线性层、归一层，最终获取相应的翻译结果，编码器由6个编码层堆叠而成，由最底层的编码层接收输入，在其他编码层接收上一个编码层的输出，最后一个编码层的输出作为整个编码端的输出结果。

目前，端到端的神经机器翻译模型在训练过程中构建损失函数时，编码器和解码器在后续的处理中仅依赖于编码器顶层的输出，在每一步做后向传播更新模型参数，编码器、解码器所有层的参数都会被更新，事实上，在后向传播过程中，模型所有参数的梯度大不相同，梯度较大的参数，更新频率应该较小，梯度较小的参数，更新频率应该较大，但当前的模型更新参数方法中编码器和解码器所有层的参数都会被更新，使得模型的训练速度较慢，不利于模型的迅速训练。

因此，如何解决模型的训练速度缓慢问题，使翻译模型能更快被训练好，就成为技术人员亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种语句翻译模型的训练方法及装置、语句翻译方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面，提供了一种语句翻译模型的训练方法，所述语句翻译模型包括编码器和解码器，其中，所述编码器包括n个编码层，所述解码器包括m个解码层，n和m均为大于等于2的正整数，所述方法包括：

获取待翻译语句和所述待翻译语句对应的目标语句，根据所述待翻译语句获得待翻译向量并输入至所述编码器，获得每个所述编码层输出的编码向量，根据所述目标语句获得目标向量并输入至所述解码器；

将每个所述编码层输出的编码向量输入至每个所述解码层，获得所述解码器中每个所述解码层输出的与每个所述编码向量对应的解码向量；

根据每个所述解码向量与所述目标向量分别计算对应的损失值，并确定目标损失值；

根据所述目标损失值调整所述语句翻译模型的参数以训练所述语句翻译模型。

可选的，对于第1个编码层；

获得每个所述编码层输出的编码向量，包括：

将所述待翻译向量输入至所述第1个编码层；

获得所述第1个编码层输出的第一编码向量。

可选的，对于第j个编码层，其中，1j=n；

获得每个所述编码层输出的编码向量，包括：

将第j-1个编码层输出的第j-1编码向量输入至所述第j个编码层；

获得所述第j个编码层输出的第j编码向量。