[发明专利]机器翻译模型的训练方法、机器翻译方法及相关设备

说明书

本公开提供一种机器翻译模型的训练方法、机器翻译方法及相关设备，该训练方法包括：获取原始训练语料和训练用术语词典；根据训练用术语词典，对原始训练语料进行匹配检索，得到若干训练用术语匹配项；所述训练用术语匹配项包括：训练用源端术语及其对应的训练用目标端术语；根据若干训练用术语匹配项，生成辅助训练语料，并将所述原始训练语料和所述辅助训练语料进行组合，得到组合训练语料；为每个训练用目标端术语添加训练用术语位置标签，得到若干训练用术语约束项，并根据若干所述训练用术语约束项，得到训练用术语约束；根据所述组合训练语料和所述训练用术语约束，对所述机器翻译模型进行训练。本公开还提供了一种机器翻译方法及相关设备。

技术领域

本公开涉及机器翻译技术领域，尤其涉及一种机器翻译模型的训练方法、机器翻译方法及相关设备。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，随着机器学习技术的飞速发展，机器翻译技术也在几次模型结构的变革下取得了巨大的进展，机器翻译被更加广泛地用到了各种翻译场景中，但同时也暴露出越来越多亟待解决的问题，这其中一大问题便是专业术语的错译问题。

发明内容

有鉴于此，非常需要一种改进的方法，能够有效地改善机器翻译过程中术语的错译问题。

本公开示例性实施例提供了一种机器翻译模型的训练方法，包括：

获取原始训练语料和训练用术语词典；

根据所述训练用术语词典，对所述原始训练语料进行匹配检索，得到若干训练用术语匹配项；所述训练用术语匹配项包括：训练用源端术语及其对应的训练用目标端术语；

根据若干所述训练用术语匹配项，生成辅助训练语料，并将所述原始训练语料和所述辅助训练语料进行组合，得到组合训练语料；

为每个所述训练用目标端术语添加训练用术语位置标签，得到若干训练用术语约束项，并根据若干所述训练用术语约束项，得到训练用术语约束；

根据所述组合训练语料和所述训练用术语约束，对所述机器翻译模型进行训练。

在一些示例性实施例中，所述根据所述组合训练语料和所述训练用术语约束，对所述机器翻译模型进行训练，具体包括：根据所述组合训练语料和训练用术语约束，构建损失函数；以所述损失函数最小为训练目标，对所述机器翻译模型进行训练。

在一些示例性实施例中，所述根据所述组合训练语料和所述训练用术语约束，对所述机器翻译模型进行训练，具体包括：对于所述组合训练语料中的任一训练用目标端语句，将所述训练用目标端语句进行右侧填充和右偏移；将所述训练用目标端语句对应的所述训练用术语约束进行左侧填充和右偏移。

在一些示例性实施例中，所述根据所述组合训练语料和所述训练用术语约束，对所述机器翻译模型进行训练，具体包括：将所述训练用术语约束和所述训练用目标端语句进行拼接；将拼接后的所述训练用术语约束与所述训练用目标端语句进行改进的多头自注意力处理。

在一些示例性实施例中，所述改进的多头自注意力处理，具体包括：获取拼接后的所述训练用术语约束与所述训练用目标端语句的训练用自注意力权重矩阵，并提取所述训练用自注意力权重矩阵的对角线上各位置的值，作为训练用待用值；将所述训练用自注意力权重矩阵中，所有填充处理对应的位置赋值为负无穷；根据所述训练用待用值，将所述训练用自注意力权重矩阵的对角线上各位置重新赋值，得到修正的训练用自注意力权重矩阵；根据所述修正的训练用自注意力权重矩阵，得到更新后的所述拼接后的所述训练用术语约束与所述训练用目标端语句的表示。