[发明专利]一种文本翻译的方法、信息处理的方法以及装置

说明书

本发明实施例公开了一种信息处理的方法，包括：获取待处理文本信息所对应的目标文本序列，目标文本序列中包括多个元素；根据目标文本序列获取上下文向量；根据上下文向量以及目标文本序列确定目标请求向量以及目标键向量；根据目标请求向量以及目标键向量确定目标文本序列所对应的逻辑相似度；采用逻辑相似度对目标文本信息所对应的目标文本序列进行编码处理，得到文本编码结果。本发明实施例还提供一种文本翻译的方法及装置。本发明实施例采用与离散序列相关的上下文向量对该离散序列进行编码，由此，强化离散序列中各个元素之间的依存关系，从而增强神经网络模型的性能，提升模型的学习能力。

技术领域

本发明涉及人工智能领域，尤其一种文本翻译的方法、信息处理的方法以及装置。

背景技术

注意力机制已经成为大多数深度学习模型中的一个基本模块，它可以动态地按照需求选择网络中的相关表示。研究表明，在机器翻译以及图像注释等任务中，注意力机制作用显著。

目前，基于注意力机制现已提出一种自关注神经网络(self-attention network，SAN)模型，该SAN模型可以对离散序列中的每个元素计算一个注意力权重，为了便于理解，请参阅图1，图1为现有方案中SAN模型对离散序列建模的一个基本架构示意图，如图所示，SAN网络可以直接计算出神经网络中隐藏状态之间的依存关系，每个上层网络表示都会与下层网络表示建立直接连接。

请参阅图2，图2为现有方案中SAN模型表示两个词语之间关系的一个示意图，如图所示，使用注意力机制的SAN模型在计算两个词语(如图2中的“talk”与“Sharon”)之间的依存度时，仅考虑到两个词之间的关系，因此，对于离散序列而言，元素在整个离散序列中的网络表示较弱，从而降低了神经网络模型的性能。

发明内容

本发明实施例提供了一种文本翻译的方法、信息处理的方法以及装置，采用与离散序列相关的上下文向量对该离散序列进行编码，由此，强化离散序列中各个元素之间的依存关系，从而增强神经网络模型的性能，提升模型的学习能力。

有鉴于此，本发明的第一方面提供了一种文本翻译的方法，包括：

获取目标文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；

根据所述目标文本序列获取上下文向量；

根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；

根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；

采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果；

对所述文本编码结果进行解码处理，以得到所述目标文本信息所对应的文本翻译结果。

本发明的第二方面提供了一种信息处理的方法，包括：

获取待处理文本信息所对应的目标文本序列，其中，所述目标文本序列中包括多个元素；

根据所述目标文本序列获取上下文向量；

根据所述上下文向量以及所述目标文本序列确定目标请求向量以及目标键向量，其中，所述目标请求向量与所述目标文本序列中的元素具有对应关系，所述目标键向量与所述目标文本序列中的元素具有对应关系；

根据所述目标请求向量以及所述目标键向量确定所述目标文本序列所对应的逻辑相似度；

采用所述逻辑相似度对所述目标文本信息所对应的所述目标文本序列进行编码处理，得到文本编码结果。

本发明的第三方面提供了一种文本翻译装置，包括：