[发明专利]一种文本翻译的方法、相关装置及存储介质

说明书

本申请公开了一种基于自然语言处理技术的文本翻译的方法以及相关装置。本申请包括：获取目标文本所对应的第一嵌入向量，获取第一初始权重矩阵。采用第一层网络结构对第一初始权重矩阵进行处理，得到第一权重矩阵，通过第一权重矩阵对第一嵌入向量进行处理，得到第一特征向量。采用第二层网络结构对第一权重矩阵进行处理，得到第二权重矩阵，并通过第二权重矩阵对第一特征向量进行处理，得到第二特征向量。根据第二特征向量，获取第一文本翻译结果。通过上述方式，将每一层网络结构的权重矩阵输入到下一层级来进行更新，并利用权重矩阵生成目标文本对应的特征向量，减少了机器翻译过程中的时间复杂度和空间复杂度，提高了机器翻译的效率。

技术领域

本申请涉及人工智能领域，尤其涉及一种文本翻译的方法、相关装置及存储介质。

背景技术

机器翻译是利用计算机将一种自然语言转变为另一种自然语言的过程，被广泛的应用到生活中的各个方面。其中，机器翻译所常用的transformer架构具有强大的语义表达能力，能捕捉文本长依赖关系。自被提出以来在以翻译为代表的一系列自然语言处理的任务上显著超越了之前的模型，基于transformer模型的预训练语言模型在问答系统,语音助手等领域也取得了非常好的效果。

transformer模型运用了基于点积操作计算权重矩阵的多头自注意力机制(Dot-Product Multi-head Self-Attention)，该多头自注意力机制中，每个词有3个不同的向量：Query向量、Key向量和Value向量。在文本翻译的过程中，每一transformer层都需要将每个词的Query向量、Key向量和Value向量与其他位置的词的Query向量、Key向量和Value向量进行点积操作，从而确定每个词与其他位置的词的语义关系，得到每个词的特征向量。

基于点积操作的多头自注意力机制中，由于词对词的点积操作需要大量的时间复杂度和空间复杂度，因此随着句子长度和transformer层数的增长，机器翻译过程中所需要的时间复杂度和空间复杂度会呈现较高的增长，导致机器翻译的效率较低。

发明内容

有鉴于此，本申请实施例提供了一种文本翻译的方法、相关装置及存储介质，用于减少机器翻译过程中的时间复杂度和空间复杂度，提高机器翻译的效率。

本申请一方面提供一种文本翻译的方法，包括：

获取目标文本所对应的第一嵌入向量；

获取第一初始权重矩阵；

采用第一层网络结构对第一初始权重矩阵进行处理，得到第一权重矩阵；

采用第一层网络结构，通过第一权重矩阵对第一嵌入向量进行处理，得到第一特征向量；

采用第二层网络结构对第一权重矩阵进行处理，得到第二权重矩阵；

采用第二层网络结构，通过第二权重矩阵对第一特征向量进行处理，得到第二特征向量；

根据第二特征向量，获取第一文本翻译结果。

本申请另一方面提供一种文本翻译装置，包括：

获取单元，用于获取目标文本所对应的第一嵌入向量；

获取单元，还用于获取第一初始权重矩阵；

处理单元，用于采用第一层网络结构对第一初始权重矩阵进行处理，得到第一权重矩阵；

处理单元，还用于采用第一层网络结构，通过第一权重矩阵对第一嵌入向量进行处理，得到第一特征向量；

处理单元，还用于采用第二层网络结构对第一权重矩阵进行处理，得到第二权重矩阵；

处理单元，还用于采用第二层网络结构，通过第二权重矩阵对第一特征向量进行处理，得到第二特征向量；