[发明专利]机器翻译方法及装置

权利要求书

1.一种机器翻译方法，其特征在于，包括：

将源语句前文的词向量输入至预先训练的上下文编码器，输出所述源语句前文的编码标识；

将源语句的词向量以及所述源语句前文的编码标识输入至预先训练的源语言编码器，获得所述源语句的编码标识；

将目标语句中已翻译的词向量、源语句前文的编码标识和源语句的编码标识输入至预先训练的解码器，获得目标语句中新翻译的词向量；

根据所述目标语句中新翻译的词向量获得对应的翻译结果；

其中，所述上下文编码器根据样本源语句前文的词向量以及样本源语句前文的编码标识训练而成；所述源语言编码器根据样本源语句的词向量、样本源语句前文的编码标识以及样本源语句的编码标识训练而成；所述解码器根据样本目标语句中已翻译的词向量、样本源语句前文的编码标识以及样本源语句的编码标识训练而成；

其中，所述上下文编码器由N_c个依次连接的上下文编码层构成，每个所述上下文编码层依次包括第一自注意力层和第一前向神经网络层；

相应地，所述将源语句前文的词向量输入至预先训练的上下文编码器，输出所述源语句前文的编码标识，具体为：

将源语句前文的词向量输入至第1个上下文编码层中的第一自注意力层，输出矩阵A⁽¹⁾；将所述矩阵A⁽¹⁾输入至第1个上下文编码层中的第一前向神经网络层，输出矩阵C⁽¹⁾；

对于第n个上下文编码层，将矩阵C^(n-1)输入至第n个上下文编码层中的第一自注意力层，输出矩阵A⁽ⁿ⁾；将矩阵A⁽ⁿ⁾ 输入至第n个上下文编码层中的第一前向神经网络层，输出矩阵C⁽ⁿ⁾；满足1＜n≤N_c；

将第N_c个上下文编码层的输出C^(Nc)作为所述源语句前文的编码标识。

2.根据权利要求1所述的机器翻译方法，其特征在于，所述源语言编码器由N_s个依次连接的源语言编码层构成，每个所述源语言编码层依次包括第二自注意力层、第一上下文注意力层和第二前向神经网络层；

相应地，所述将源语句的词向量以及所述源语句前文的编码标识输入至预先训练的源语言编码器，获得所述源语句的编码标识；

将源语句的词向量输入至第1个源语言编码层中的第二自注意力层，输出矩阵B⁽¹⁾；将矩阵B⁽¹⁾以及矩阵C^(Nc)输入至第1个源语言编码层中的第一上下文注意力层，输出矩阵D⁽¹⁾；将矩阵D⁽¹⁾输入至第1个源语言编码层中的第二前向神经网络层，输出矩阵S⁽¹⁾；

对于第m个源语言编码层，将矩阵S^(m-1)输入至第m个源语言编码层中的第二自注意力层，输出矩阵B^(m)；将矩阵B^(m)以及矩阵C^(Nc)输入至第m个源语言编码层中的第一上下文注意力层，输出矩阵D^(m)；将矩阵D^(m)输入至第m个源语言编码层中的第二前向神经网络层，输出矩阵S^(m)；满足1＜m≤N_s；

将第N_s个源语言编码层的输出S^(Ns)作为所述源语句的编码标识。