[发明专利]一种基于多约束项的蒙汉神经机器翻译方法

权利要求书

1.一种基于多约束项的蒙汉神经机器翻译方法，其特征在于，包括如下步骤：

步骤1，在以BLEU值为训练优化目标的基础上，加入约束条件，构建基于强化学习的蒙汉神经机器翻译模型，所述约束条件包括：

(1)语义约束，以缓解单一的BLEU值评价体系带来的译文流利度差的问题；

(2)参数约束，以提升模型训练的效率；

(3)对语料的词表约束，以减少译文中未登录词的数量；

步骤2，对构建的翻译模型进行训练，训练策略包括交叉熵训练、强化训练以及两种训练的动态融入。

2.根据权利要求1所述基于多约束项的蒙汉神经机器翻译方法，其特征在于，所述步骤1构建翻译模型，将强化学习算法映射到机器翻译中，强化学习的学习体、环境、参数优化方法、探索动作、学习体参数状态、回报奖励，分别对应机器翻译中的翻译模块、不同时间步的输入、模型训练方法、序列解码、网络参数、序列的BLEU值；所述不同时间步的输入为蒙古文词干词缀或词表征单元，所述序列解码为以一个元素为单位的解码。

3.根据权利要求2所述基于多约束项的蒙汉神经机器翻译方法，其特征在于，所述映射的构建是以马尔可夫决策方法将机器翻译视为一个单变量探索奖励的过程，即：

学习体通过迭代性的探索动作不断改变其参数状态以获得更多的回报奖励，并在此迭代训练基础上不断与环境互动，过程表示为M＝S,A,P{s,a},R，其中，s∈S，s表示学习体的参数状态，S是学习体参数状态的有限集，用于表示翻译模型在训练中不同时间步的网络参数；a∈A，a表示探索动作，A是探索动作的有限集，用于记录学习体在不同状态下的探索动作；P{s,a}表示学习体根据当前时间步的参数状态s和探索动作a预测下一个参数状态s′；R表示表示学习体采取探索动作a后的即时回报奖励；

基于所述映射，所述翻译模型从随机状态中通过不断优化网络参数，从而在探索动作中获取奖励和惩罚，并在奖罚机制下找到最优的网络参数，然后不断更新，做出最优选择。

4.根据权利要求2所述基于多约束项的蒙汉神经机器翻译方法，其特征在于，所述交叉熵训练中，翻译模型在每个时间步均将标准译文E中的元素向量e_t∈E和神经网络隐藏层的输出h_t作为输入，计算下一时间步隐藏层的输出h_t+1，直至翻译模型最终输出完整的译文向量E′，其中，E表达为E＜e₁，e₂，...，e_t，...，e_T＞，e_t为E中第t个时间步编码得到的元素向量，T为E的向量长度；E′表达为E′＜e′₁，e′₂，...，e′_t，...e′_T＞，e′_t为E′中的第t时间步解码得到的向量元素；h_t是一个浮点型实值向量，用于编码训练中当前时间步之前的计算输出的结果；

所述强化训练中，翻译模型依据以BLEU值为优化目标的REINFORCE算法做出对应的解码行动，并且通过比较当前模型按概率输出的多个译文构成的候选集中的预测序列与最佳序列，在每个输出的预测序列末尾或序列长度之后观察回报奖励，所述序列长度等于所述E的向量长度，即T。

5.根据权利要求4所述基于多约束项的蒙汉神经机器翻译方法，其特征在于，所述动态融入是指在蒙汉机器翻译有限的训练周期内，将强化训练与交叉熵训练动态地加入翻译模型的整体训练过程中，其执行算法如下：

1)将蒙古语做词干词缀级嵌入化训练，得到相应的词向量空间，并给定三个变量：交叉熵训练回合N_CE、强化训练回合N_RL以及序列长度T；

2)在每轮的训练迭代中以序列长度为起始标志，1为结束标志，使用交叉熵作为损失函数训练N_CE轮；

3)以Δ为差，逐步减少交叉熵训练轮数，并相应增加强化训练轮数N_RL，Δ为训练超参；

4)使用N_RL训练，在前T-Δ步用交叉熵训练，剩下的训练步用强化训练，直至强化训练完全参与整体训练，翻译模型收敛。