[发明专利]序列转换方法及装置

说明书

本发明公开了序列转换方法及装置，其中序列转换方法包括：获取源端序列；获取参考上下文向量；将所述源端序列转换为源端上下文向量；根据所述参考上下文向量和所述源端上下文向量获取权重向量；使用所述权重向量对所述源端上下文向量和所述参考上下文向量进行加权；使用加权后的源端上下文向量和加权后的参考上下文向量预测与所述源端上下文向量对应的目标端上下文向量；根据所述目标端上下文向量获取目标端序列。使用本发明，能够在进行序列转换时提高目标端序列相对于源端序列的忠诚度。

技术领域

本发明涉及计算机技术，具体涉及一种序列转换方法及装置。

背景技术

随着计算机技术的飞速发展，深度学习的研究也取得了较大进展，涉及自然语言处理的序列到序列学习(sequence-to-sequence learning)也取得了突破性的进展，序列到序列学习是一种将源端序列映射到目标端序列的学习过程。序列到序列学习的成果主要用于序列转换，典型的序列转换的应用场景包括机器翻译(Machine Translation)、语音识别(speech recognition)、对话系统(dialog system or conversational agent)、自动摘要(automatic summarization)、自动问答(question answering)和图像说明文字生成(image caption generation)等等。

一种典型的序列转换方法包括两个阶段：编码阶段和解码阶段。其中，编码阶段一般会通过循环神经网络(Recurrent Neural Network，RNN)将源端序列转化为向量(也称为源端上下文向量)，可以使用注意力(attention)机制，每次选择源端序列的一部分转化为源端上下文向量，即源端序列会被转化为多个源端上下文向量(即为解码阶段每个目标端词生成对应的源端上下文向量)。解码阶段通过每次生成一个词的方式生成目标端序列：在每一步中，解码器根据编码阶段获得的当前源端上下文向量，解码器的目标端上下文向量(包括上一步的解码器中间状态和上一步生成的目标端词)来计算当前步骤的解码器中间状态，根据该中间状态及源端上下文向量预测当前步骤的目标端词，新生成的解码器中间状态及目标端词即为当前时刻新的目标端上下文向量。

在序列转换方法应用到自然语言处理时，由于源端序列和目标端序列的长度都是不固定的，因此在解码阶段也可以使用RNN进行处理。

由于RNN在预测过程中主要参考的还是已经预测获得的目标端上下文向量，而仅仅将源端上下文向量作为一个额外的输入，因此导致当前源端上下文向量对应的信息可能不会正确地传递到对应的目标端上下文向量，从而导致预测获得的目标端序列不能忠诚地体现源端序列的信息。

发明内容

本发明实施例提供了序列转换方法及装置，能够在进行序列转换时提高目标端序列相对于源端序列的忠诚度。

本发明的第一方面提供了一种序列转换方法，包括：

获取源端序列；

获取参考上下文向量；

将所述源端序列转换为源端上下文向量；

根据所述参考上下文向量和所述源端上下文向量获取权重向量；

使用所述权重向量对所述源端上下文向量和所述参考上下文向量进行加权；

使用加权后的源端上下文向量和加权后的参考上下文向量预测与所述源端上下文向量对应的目标端上下文向量；

根据所述目标端上下文向量获取目标端序列。

结合第一方面，在第一方面的第一种实施方式中，在所述目标端上下文向量是所述源端序列对应的第一个目标端上下文向量时，所述参考上下文向量是初始目标端上下文向量；其中，在一种实施方式中，初始目标端上下文向量中每一个元素的值均为0，以避免对当前源端上下文向量的预测造成干扰；