[发明专利]一种基于多约束项的蒙汉神经机器翻译方法

说明书

一种基于多约束项的蒙汉神经机器翻译方法，首先针对蒙汉神经机器翻译任务构建基于强化学习的模型训练过程，然后在强化模型基础上针对训练的优化目标进一步改进约束条件，包括：添加语义约束模块以缓解单一的BLEU值评价体系带来的译文流利度差的问题；针对训练过程进行参数约束以提升模型训练的效率；对语料进行词表约束以减少译文中未登录词的数量。本发明通过调节整体约束方式，减轻低资源蒙汉机器翻译任务中模型对序列结构分析能力差和训练效率低的问题，同时对于强化训练带来的方差较大问题，本发明采取均值奖励和剪枝柱搜索的方法有效地缓解以上强化训练带来的负面影响。

技术领域

本发明属于机器翻译技术领域，特别涉及一种基于多约束项的蒙汉神经机器翻译方法。

背景技术

采用深度学习模型对蒙古文文本进行处理时，需要对除标准BLEU值外的其他指标进行训练约束，以确保资源稀缺的蒙古文翻译译文质量。

现有技术的翻译模型，在训练过程中，由于蒙古语资源较少，容易产生训练样本分布偏差和语义损失，模型训练效率不高，且容易导致训练样本分布偏差和训练推理阶段评价指标不一致的问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多约束项的蒙汉神经机器翻译方法，以提升翻译模型的训练效率，提升翻译译文的可读性和流利度，完善蒙汉神经机器翻译模型。

为了实现上述目的，本发明采用的技术方案是：

一种基于多约束项的蒙汉神经机器翻译方法，包括如下步骤：

步骤1，在以BLEU值为训练优化目标的基础上，加入约束条件，构建基于强化学习的蒙汉神经机器翻译模型，所述约束条件包括：

(1)语义约束，以缓解单一的BLEU值评价体系带来的译文流利度差的问题；

(2)参数约束，以提升模型训练的效率；

(3)对语料的词表约束，以减少译文中未登录词的数量；

步骤2，对构建的翻译模型进行训练，训练策略包括交叉熵训练、强化训练以及两种训练的动态融入。

在一个实施例中，所述步骤1构建翻译模型，将强化学习算法映射到机器翻译中，强化学习的学习体、环境、参数优化方法、探索动作、学习体参数状态、回报奖励，分别对应机器翻译中的翻译模块、不同时间步的输入、模型训练方法、序列解码、网络参数、序列的BLEU值；所述不同时间步的输入为蒙古文词干词缀或词表征单元，所述序列解码为以一个元素为单位的解码。

在一个实施例中，所述映射的构建是以马尔可夫决策方法将机器翻译视为一个单变量探索奖励的过程，即：

学习体通过迭代性的探索动作不断改变其参数状态以获得更多的回报奖励，并在此迭代训练基础上不断与环境互动，过程表示为M＝S,A,P{s,a},R，其中，s∈S，s表示学习体的参数状态，S是学习体参数状态的有限集，用于表示翻译模型在训练中不同时间步的网络参数；a∈A，a表示探索动作，A是探索动作的有限集，用于记录学习体在不同状态下的探索动作；P{s,a}表示学习体根据当前时间步的参数状态s和探索动作a预测下一个参数状态s′；R表示表示学习体采取探索动作a后的即时回报奖励；

基于所述映射，所述翻译模型从随机状态中通过不断优化网络参数，从而在探索动作中获取奖励和惩罚，并在奖罚机制下找到最优的网络参数，然后不断更新，做出最优选择。