[发明专利]一种多语种混合的异构神经网络机器学习翻译方法

说明书

本发明公开了一种多语种混合的异构神经机器翻译系统，只需要训练和部署一个模型就可以解决多个语种以及任意翻译方向的翻译任务，并且利用不同的网络结构适应相应的编解码任务，配合不同的硬件结构获得最大的服务性能；针对工业级机器学习翻译应用，可以通过一个模型解决多个语种和不同翻译方向的神经网络机器学习翻译系统，指定任意待翻译的原语种文本以及任意目标语种，输出目标语种对应的文本，并且综合LSTM和Transformer两种不同的模型结构优势，极大地减少了模型部署成本，同时提升编码与解码效率，提供高性能实时翻译服务。

技术领域

本发明涉及机器翻译领域，特别是涉及一种多语种混合的异构神经网络机器学习翻译方法。

背景技术

语言翻译任务是将一种语言翻译成另一种语言，由于语言表达的多样性，这对于机器学习而言是极具挑战的任务，但是由于巨大的市场需求，使用机器学习提供高性能的翻译服务具有非常大的商业价值。神经网络机器学习翻译是以神经网络作为核心提供机器学习翻译的一种智能化技术，特别是深度神经网络强大的语义建模能力，能克服传统机器学习翻译系统灵活性差、翻译结果生硬的缺陷，将成为未来最主流的机器学习翻译解决方案。

目前的神经机器学习翻译方案大多以seq2seq为网络模型，用两种语言的平行语料作为数据来训练模型，比如输入英文句子、输出中文句子来训练一个英中翻译模型，又或者反过来训练一个中英翻译模型，也就是说一个模型只能训练一种翻译方向，如果要实现一个多种语言多个翻译方向的神经网络机器学习翻译系统，需要训练和部署多个模型。

另一方面，seq2seq是典型的编码器-解码器架构，主流的模型结构以LSTM和Transformer为主，即使用LSTM作为编码器与解码器，或者以Transformer作为编码器和解码器。然而LSTM是一种串行结构，非常适配于机器学习翻译的解码过程，但是编码器无法并行，所以编码和训练阶段速度慢；Transformer是一种并行结构，编码和训练速度快，但是串行解码速度慢，实时翻译性能较差。

因此，需要一种可以混合多语种并且加速翻译的方法。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种高性能、易于部署的多语种混合的异构神经网络机器学习翻译方法。

为解决上述技术问题，本发明提供一种多语种混合的异构神经网络机器学习翻译方法，只用一个模型解决多个语种不同翻译方向的任务，并且编码器、解码器使用不同的模型结构来充分利用不同结构的优势，其特征在于，具体包括如下步骤：

步骤1：平行语料的预处理；将所有的平行语料混合以做统一的预处理，构建BPE分词器和数据集，所述数据集包含平行序列；

步骤2：构造异构seq2seq模型；以双向Transformer作为编码器，单向LSTM作为解码器，以Transformer编码器的输出作为上下文状态，用注意力机制连接编码器与解码器得到异构模型，用步骤1得到的数据集训练异构模型，用Adam优化器优化异构模型的参数；

步骤3：部署异构模型；异构部署训练好的异构模型，用以提供在线翻译服务；

步骤4：对请求文本进行翻译得到翻译文本；对在线的实时翻译请求的语料文本做与步骤1相同的预处理，传入异构模型进行编码和解码，将解码后的序列进行后处理，得到目标语言的翻译文本。

所述步骤1中，所述预处理具体包括如下步骤：

步骤1-1：标点分割；使用空格符将平行语料中所有的标点符号与连接文本断开，设置标点连接符；

步骤1-2：分词；以空格符为分割符，将步骤1-1处理后的文本分割为token序列；