[发明专利]翻译模型构建方法和装置

说明书

本申请提出一种翻译模型构建方法和装置，其中，方法包括：在第一正例语料集中的翻译词对的数量小于阈值时，根据获取的第一正例语料集中的各翻译词对，随机生成负例语料集，其中，第一正例语料集及负例语料集中的翻译词对分别包括源语言及对应的目标语言，对第一正例语料集及负例语料集进行机器学习，以生成分类模型，利用分类模型，将预设的翻译模型进行剪枝处理，以生成与源语言及目标语言对应的翻译模型。该方法实现了在源语言与目标语言的双语语料较少时，利用源语言与目标语言的翻译词对得到分类模型，通过分类模型对借助于参考语言的得到的源语言与目标语言的翻译模型进行过滤，大大降低了翻译模型的噪声，提高了翻译模型的翻译质量。

技术领域

本申请涉及机器翻译技术领域，尤其涉及一种翻译模型构建方法和装置。

背景技术

在构建翻译模型时，通常利用大规模的双语语料来训练翻译模型，以提高翻译模型的翻译质量。但是，对于具有小语种的语言对，很难获得大规模双语语料，那么如果利用小规模的双语语料来训练翻译模型，得到的翻译模型的质量会比较低。

发明内容

本申请提出一种翻译模型构建方法和装置，用于解决利用小规模的双语语料训练翻译模型，得到的翻译模型的翻译质量较低的问题。

本申请一方面实施例提出了一种翻译模型构建方法，包括：

在第一正例语料集中的翻译词对的数量小于阈值时，根据获取的第一正例语料集中的各翻译词对，随机生成负例语料集，其中，所述第一正例语料集及负例语料集中的翻译词对分别包括源语言及对应的目标语言；

对所述第一正例语料集及所述负例语料集进行机器学习，以生成分类模型；

利用所述分类模型，将预设的翻译模型进行剪枝处理，以生成与所述源语言及目标语言对应的翻译模型；

其中，所述预设的翻译模型，为将第一翻译模型及第二翻译模型融合后得到的翻译模型，第一翻译模型为利用包括源语言与参考语言的第二正例语料集训练得到的、第二翻译模型为利用包括参考语言与目标语言的第三正例语料集训练得到的。

本申请实施例的翻译模型构建方法，通过在第一正例语料集中的翻译词对的数量小于阈值时，根据获取的第一正例语料集中的各翻译词对，随机生成负例语料集，其中，第一正例语料集及负例语料集中的翻译词对分别包括源语言及对应的目标语言，对第一正例语料集及负例语料集进行机器学习，以生成分类模型，利用分类模型，将预设的翻译模型进行剪枝处理，以生成与源语言及目标语言对应的翻译模型，其中，预设的翻译模型，为将第一翻译模型及第二翻译模型融合后得到的翻译模型，第一翻译模型为利用包括源语言与参考语言的第二正例语料集训练得到的、第二翻译模型为利用包括参考语言与目标语言的第三正例语料集训练得到的。由此，在源语言与目标语言的双语语料较少时，利用源语言与目标语言的翻译词对得到分类模型，通过分类模型对借助于参考语言的得到的源语言与目标语言的翻译模型进行过滤，大大降低了翻译模型的噪声，提高了翻译模型的翻译质量。

本申请另一方面实施例提出了一种翻译模型构建装置，包括：

第一生成模块，用于在第一正例语料集中的翻译词对的数量小于阈值时，根据获取的第一正例语料集中的各翻译词对，随机生成负例语料集，其中，所述第一正例语料集及负例语料集中的翻译词对分别包括源语言及对应的目标语言；

第二生成模块，用于对所述第一正例语料集及所述负例语料集进行机器学习，以生成分类模型；

第三生成模块，用于利用所述分类模型，将预设的翻译模型进行剪枝处理，以生成与所述源语言及目标语言对应的翻译模型；

其中，所述预设的翻译模型，为将第一翻译模型及第二翻译模型融合后得到的翻译模型，所述第一翻译模型为利用包括源语言与参考语言的第二正例语料集训练得到的第一翻译模型、所述第二翻译模型为利用包括参考语言与目标语言的第三正例语料集训练得到的。