[发明专利]一种应用于低资源机器翻译的翻译方法

权利要求书

1.一种应用于低资源机器翻译的翻译方法，其特征在于包括以下步骤：

1)将源语言输入文本进行预处理，并进行词嵌入操作，得到模型的源语言输入文本x∈R^L×D；

2)在机器翻译模型中，在多头自注意力模型的基础上对经过处理的源语言输入文本x∈R^L×D进行采样，从而得到多个尺度的数据表示

3)将采样后的数据表示分别作为Query与Key进行点积运算得到n个注意力权重矩阵；

4)将上述过程得到的n个注意力权重矩阵进行融合，再将融合后的注意力权重矩阵与源语言输入文本x进行点积运算得到融合后的输出向量，将其作为解码器输入实现后续翻译过程。

2.按权利要求1所述的应用于低资源机器翻译的翻译方法，其特征在于：步骤2)在机器翻译模型中，在多头自注意力模型的基础上对经过处理的源语言输入文本x∈R^L×D进行采样，从而得到多个尺度的源语言输入文本具体为：

Q,K,V＝x

其中x为输入的源语言输入文本，Q、K、V分别为查询值、键值、源语言输入文本，Q、K、V的数据维度为W_i^Q，W_i^K，W_i^V为第i个可学习参数矩阵，其矩阵维度为分别为第i个经过线性映射后的查询、键值、源语言输入文本，sample为采样策略，分别为经过采样后的查询值、键值。

3.按权利要求1所述的应用于低资源机器翻译的翻译方法，其特征在于：步骤3)将采样后的数据表示分别作为Query与Key进行点积运算得到n个注意力权重矩阵，具体为：

其中，为多尺度模型输入，为模型的词嵌入维度，softmax(·)表示softmax激活函数，其具体表达式为：

其中y为函数输出，x为函数输入，x^m、xⁿ分别为输入数据的第m维与第n维，K为输入向量维度，e为自然常数。

4.按权利要求1所述的应用于低资源机器翻译的翻译方法，其特征在于：步骤4)将上述过程得到的n个注意力权重矩阵进行融合，将融合后的注意力权重矩阵与原始输入数据x进行点积运算得到最终输出，具体为：

其中Concat(·)为拼接方法，将两个特征向量按照某个维度进行连接，W^o为可学习参数矩阵，atten_weight_i为注意力权重矩阵，output为模型输出，为第i个经过线性映射的源语言输入文本。