[发明专利]一种机器翻译增强训练方法及系统

权利要求书

1.一种机器翻译增强训练方法，其特征在于，包括：

步骤S1：获取训练数据，所述训练数据包括：源端句子和目标端句子；

步骤S2：分别使用所述源端句子和所述目标端句子训练源端语言模型和目标端语言模型；

步骤S3：随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对所述源端句子的增强；

步骤S4：根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强。

2.根据权利要求1所述的机器翻译增强训练方法，其特征在于，所述步骤S3：随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强，具体包括：

步骤S31：按照预设概率，在所述源端句子中随机选择至少一个子词；

步骤S32：将所述源端句子平移，构造移位后的句子；

步骤S33：将所述移位后的句子输入所述源端语言模型，得到所述子词的向量表示，如下述公式(1)所示；

其中，x_i为所述子词；p_|V|是预先设定的词表向量；p_j(x_i)是x_i在所述词表向量中第j个词的概率；p(x_i)是所述移位后的句子中对x_i的向量表示；

步骤S34：根据所述子词的向量表示，利用公式(2)，计算所述子词的软性预测向量；

其中，E_j是所述词表向量的第j个词的词嵌入矩阵；

步骤S35：根据以下公式(3)～(4),从所述词表中选择出替换x_i的新子词x_i′；

其中，V_topN是指根据所述语言模型概率筛选得到的与x_i最相似的前N个子词；sim是计算向量相似度函数；argmax求使得sim函数值最大的参数x_i，即x′_i；是对e(x_i)的梯度向量；y是所述目标端句子，x是所述源端句子，θ为所述神经机器翻译模型中所有的参数；

步骤S36：根据x_i′可得到其硬性预测向量

步骤S37：将所述子词x_i的软性预测向量和所述新子词x_i′的硬性预测向量进行平均，最终得到x_i的新子词表示从而实现对所述源端句子的增强。