[发明专利]一种基于低频词表示增强的汉越神经机器翻译的方法

权利要求书

1.一种基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：包括如下：

Step1、收集汉越双语语料，并将收集到的语料进行预处理；

Step2、通过语言模型学习每个词的概率分布；

Step3、构建汉-越低频词词典；

Step4、利用Step3构建的汉-越低频词词典判断出翻译模型输入中的低频词，并利用Step2概率分布更新原有低频词的表征，从而得到翻译模型输入的新表征形式；

Step5、在Step4所得的表征形式的基础上重新训练Transformer翻译模型。

2.根据权利要求1所述的基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：所述步骤Step1的具体步骤为：

Step1.1、通过将公开IWLST英语-越南语双语平行语料，经过语言学专家将英语译文为汉语，得到汉语-越南语平行语料；

Step1.2、对语料进行了清洗和分词处理，最终获得127,481对汉越双语平行数据；

Step1.3、使用结巴分词工具对中文语句进行分词，处理越南语使用tokenizer切开标点。

3.根据权利要求1所述的基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：所述步骤Step2的具体步骤为：

Step2.1、对于词典中任何词w，概率分布为：

P(w)＝(P₁(w),P₂(w),P₃(w),...,P_|V|(w),) (1)

满足：

Step2.2、语言模型来计算P(w)和V之前所有词的条件概率，对于一个句子中第t个词x_t，有：

P_j(x_t)＝LM(w_j|_x＜t) (3)。

4.根据权利要求1所述的基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：所述步骤Step3的具体步骤为：

Step3.1、分别统计汉语与越南语词频；

Step3.2、根据词频分布规律来定义低频词，即采用最大值法确定词的等级，即把词出现的次数由高到低排列，其等级就是它的词序值k，构建词序值为k的低频词词典d_k；

Step3.3、构建低频词词典D_k：

5.根据权利要求1所述的基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：所述步骤Step4的具体步骤为：

Step4.1、利用构建的低频词词典D_K判断输入的句子中那些词属于低频词，若x_t∈D_K为Y，反之则为N；

Step4.2、若为Y，用语言模型所训练出的P(x_t)来更新与之对应的x_i；若为N，则保持原有不变，从而得到新的源端序列X’；

Step4.3、用所得的新的源端序列X’与词典V的词嵌入矩阵E相乘得到翻译模型的输入：

input＝X'E (5)。

6.根据权利要求1所述的基于低频词表示增强的汉越神经机器翻译的方法，其特征在于：所述步骤Step5还包括：

Step5.1、最终经过翻译模型Transformer得到翻译结果：

output＝Transformer(input,Y) (6)。