[发明专利]一种基于多粒度语义对齐的多语言通用翻译方法

权利要求书

1.一种基于多粒度语义对齐的多语言通用翻译方法，其特征在于，包括以下步骤：

S1：进行语料预处理；

S2：通过通用依赖解析器获取通用依赖；

S3：对通用依赖进行局部翻译；

S4：下游模型训练。

2.根据权利要求1所述的基于多粒度语义对齐的多语言通用翻译方法，其特征在于，所述步骤S1的具体过程是：

S11：使用mBert相同的预处理方式分别处理s、t以保证单词存在于多语言预训练语言模型的词表中，其中包含且不限于分词、标准化等预处理工作，得到子词序列；

S12：在子词序列的前后分别加上[CLS]和[SEP]，得到通用依赖解析器的输入序列，记作e＝[e₁,e₂,…,e_E]，也就是token序列，在单词的层面上，记作x＝[x₁,x₂,…,x_X]。

3.根据权利要求2所述的基于多粒度语义对齐的多语言通用翻译方法，其特征在于，所述步骤S2的具体过程是：

S21：把x_i替换为[MASK]，此时mBert的句向量表示记作H_θ(x\{x_i})，再将x_i、x_j同时替换为[MASK]，此时mBert的句向量表示记作H_θ(x\{x_i，x_j})；

S22：计算H_θ(x\{x_i})和H_θ(x\{x_i，x_j})之间的距离dis(H_θ(x\{x_i}),H_θ(x\{x_i，x_j}))表示了x_j对x_i的贡献程度，也就是xi对xj的依赖程度，计算出任意一个词对另一个词之间的依赖关系，得到一个词的相关矩阵；

S23：通过词的相关矩阵，使用无监督句法分析的基本思路，递归地将x＝[x₁,x₂,…,x_X]划分为((xk),(x_k,(xk)))，划分结果包含两个类，xk和x≥k，k为最佳分割点，使得这两个类的类内相关性尽可能大，与另一个类的相关性高尽可能小，得到叶子节点都为单词的通用依赖UD。

4.根据权利要求3所述的基于多粒度语义对齐的多语言通用翻译方法，其特征在于，所述步骤S3的具体过程是：

S31：通过随机数种子判断是否翻译；如果翻译，进入S32，如果不翻译直接将UD作为该模块的输出局部翻译后的通用依赖UD_pt；

S32：随机选取一种参与预训练语言模型训练但非源语言的对齐语言A；

S33：随机选取一个节点，该节点可能是非叶子节点，也可能是叶子节点；

S34：如果是叶子节点，使用多语言预训练语言模型mBert将该节点表示的单词翻译为目标语言的单词；如果是非叶子节点，则从属于该节点的所有叶子节点都进行翻译，使得叶子节点都是对齐语言单词，此时将整棵树称为局部翻译后的通用依赖UDpt。

5.根据权利要求4所述的基于多粒度语义对齐的多语言通用翻译方法，其特征在于，所述步骤S4的具体过程是：

S41：通用依赖和局部翻译后的通用依赖都是树形结构，采用TreeNet对它们的根节点分别进行编码得到句向量特征表示S(UD)，S(UD_pt)；

S42：通用依赖的句向量特征表示S(UD)输入到翻译器Transformer中，输出目标语言文本P，通过P和T计算BLEU指标以衡量性能效果；

S43：局部翻译后的通用依赖的向量特征表示S(UD_pt)输入到语言判别器中，输出0/1判断是否为同种语言，也就是判断是否经过了局部翻译；

S44：S43和S44中产生的加权误差通过反向传播，使用随机梯度下降算法进行训练。