[发明专利]一种文本翻译的方法、相关装置及存储介质

权利要求书

1.一种文本翻译的方法，其特征在于，包括：

获取目标文本所对应的第一嵌入向量；

获取第一初始权重矩阵；

采用第一层网络结构对所述第一初始权重矩阵进行处理，得到第一权重矩阵；

采用所述第一层网络结构，通过所述第一权重矩阵对所述第一嵌入向量进行处理，得到第一特征向量；

采用第二层网络结构对所述第一权重矩阵进行处理，得到第二权重矩阵；

采用所述第二层网络结构，通过所述第二权重矩阵对所述第一特征向量进行处理，得到第二特征向量；

根据所述第二特征向量，获取第一文本翻译结果。

2.根据权利要求1所述的方法，其特征在于，所述第一层网络结构包括第一注意力层和第一前馈层，所述采用所述第一层网络结构，通过所述第一权重矩阵对所述第一嵌入向量进行处理，得到第一特征向量包括：

采用所述第一注意力层，通过所述第一权重矩阵对所述第一嵌入向量进行处理，得到第一注意力向量；

采用所述第一前馈层，对所述第一注意力向量和所述第一嵌入向量进行处理，得到第一特征向量。

3.根据权利要求1所述的方法，其特征在于，所述第一层网络结构包括第二注意力层、编码-解码Encoder-Decoder层和第二前馈层，所述采用所述第一层网络结构，通过所述第一权重矩阵对所述第一嵌入向量进行处理，得到第一特征向量包括：

采用所述第二注意力层，通过所述第一权重矩阵对所述第一嵌入向量进行处理，得到第二注意力向量；

获取来自编码器的第三特征向量；

采用所述Encoder-Decoder层，通过所述第二注意力向量对所述第三特征向量进行处理，得到第三注意力向量；

采用所述第二前馈层，对所述第三注意力向量和所述第三特征向量进行处理，得到第一特征向量。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取目标文本所对应的第一嵌入向量之前，所述方法还包括：

获取训练文本所对应的第二嵌入向量；

获取第二初始权重矩阵；

采用第一层网络结构对所述第二初始权重矩阵进行处理，得到第三权重矩阵；

采用所述第一层网络结构，通过所述第三权重矩阵对所述第二嵌入向量进行处理，得到第四特征向量；

采用第二层网络结构对所述第三权重矩阵进行处理，得到第四权重矩阵；

采用所述第二层网络结构，通过所述第四权重矩阵对所述第四特征向量进行处理，得到第五特征向量；

根据所述第五特征向量，获取第二文本翻译结果；

根据所述第二文本翻译结果，对所述第二初始权重矩阵进行更新，得到第一初始权重矩阵。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第二特征向量，获取第一文本翻译结果之前，所述采用所述第二层网络结构，通过所述第二权重矩阵对所述第一特征向量进行处理，得到第二特征向量之后，所述方法还包括：

采用第三层网络结构，对所述第二特征向量进行处理，得到所述第二特征向量对应的Query向量、Key向量和Value向量；

采用第三层网络结构，对所述Query向量、所述Key向量和所述Value向量进行处理，得到第四注意力向量；

采用第三层网络结构，对所述第四注意力向量和所述第二特征向量进行处理，得到更新后的第二特征向量。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述采用第一层网络结构对所述第一初始权重矩阵进行处理，得到第一权重矩阵包括：

在所述第一层网络结构中，采用第一公式对第一初始权重矩阵进行处理，得到第一权重矩阵；

所述第一公式为：

S1＝tanh(W*S0+b)+S0；

其中，所述S0为所述第一初始权重矩阵，所述S1为所述第一权重矩阵，所述W和所述b为所述第一transformer层的模型参数，所述tanh表示对所述W、所述S1和所述b进行双曲正切处理。