[发明专利]跨语际语言翻译的神经机器翻译模型构建及其翻译方法

权利要求书

1.跨语际语言翻译的神经机器翻译模型构建方法,其特征在于,包括以下步骤:

步骤1、准备：

选择语料数据,进行预处理,构建训练集；所述训练集由子集构成，所述子集为以句为单位，包括对应的源文本语料和目标文本语料以及目标翻译真值；初始化模型的词汇表参数矩阵；初始化待翻译词语，并基于待翻译词语初始化译文文本；

步骤2、输入训练集的任意一个子集；

步骤3、编码：

基于词汇表参数矩阵对输入子集中的源语言语料进行映射变换，获得其各词语的词向量；基于源语言语料的词向量，构建融合上下文依赖关系的文本向量；采用注意力机制，对文本向量进行计算，获得源文本语料的文本表征；

步骤4、解码：

步骤41、基于词汇表参数矩阵对输入的译文文本进行映射变换，获得其各词语的词向量，通过对译文文本的词向量的拼接，构建该译文文本的融合表示；

步骤42、对当前译文文本的融合表示和源文本的文本表征进行融合，获得融合当前译文文本的混合表征矩阵；

步骤43、基于混合表征矩阵，计算当前待翻译词语在源文本语料中的焦点位置，并基于焦点位置计算源文本语料中各词语对该待翻译词语的贡献概率；基于贡献概率和混合表征矩阵，得到该待翻译词语的翻译候选表示；

步骤44、判定是否完成该子集中目标语言语料的解码，若是，则进入步骤5；否则，将步骤43中的当前待翻译词语在目标语言语料中顺序的下一个词语作为新的待翻译词语，将目标语言语料中在新的待翻译词语之前的所有词语构成的文本作为新的译文文本，并将新的待翻译词语和新的译文文本作为输入，返回步骤41；

步骤5、对目标文本语料各词语的翻译候选表示分别进行映射计算，并取概率值最大的源文本语料词语作为其翻译候选词；

步骤6、判定是否达到预设条件，若是，则进入步骤7，否则返回步骤2；所述预设条件为获得的翻译候选词的词语数量或子集数量；

步骤7、基于所获得的目标语言词语的翻译候选词及其目标翻译真值，进行交叉熵损失函数计算，基于损失函数对模型进行训练，更新参数，完成本轮训练；

步骤8、判定是否达到预设训练轮数或预设训练目标，若是，则完成训练，否则返回步骤2。

2.根据权利要求1所述的跨语际语言翻译的神经机器翻译模型构建方法,其特征在于,

步骤1中，遍历语料数据，形成源语言词汇表和目标语言词汇表，并对词汇表的词语进行编号，随机生成可跟随模型学习的词汇表参数矩阵；

步骤3中，对输入子集中的源语言语料进行遍历，根据其词语的编号查询对应词汇表参数矩阵中对应的词语向量作为该词语的词向量；

步骤4中，对译文文本进行遍历，根据其词语的编号查询对应词汇表参数矩阵中对应的词语向量作为该词语的词向量。

3.根据权利要求1所述的跨语际语言翻译的神经机器翻译模型构建方法,其特征在于,步骤3，基于源语言语料的词向量，构建融合上下文依赖关系的文本向量；采用注意力机制，对文本向量进行计算，获得源文本语料的文本表征，包括如下步骤：

步骤31、通过对源语言语料的词向量的正序和逆序拼接，构建该源语言语料的正序和逆序的源文本初始语义矩阵；

步骤32、对正序和逆序的源文本初始语义矩阵进行融合，获取融合源文本语料中上下文依赖关系的源文本语义矩阵；

步骤33、基于源文本语义矩阵进行线性映射得到文本向量，对文本向量进行本层的注意力计算；

步骤34、判定是否达到设定的编码循环层数，若是，则将其输出作为文本表征；否则，将步骤33获得的隐藏层输出向量作为源语言语料新的词向量，并返回步骤31。

4.根据权利要求3所述的跨语际语言翻译的神经机器翻译模型构建方法,其特征在于,步骤31中，采用如下公式，通过对源语言语料的词向量的正序和逆序拼接，构建该源语言语料的正序和逆序的源文本初始语义矩阵：

其中，t表示词语数量，t′表示词语在源语言语料中所处的位次；h_t′表示多层注意力计算中前一层的隐藏层输出向量，初始为词向量；W₁、b₁、W₂、b₂均为可学习权值；箭头则表示正序和逆序，ReLU为激活函数。