[发明专利]序列转换方法及装置

说明书

本发明公开了序列转换方法及装置，其中序列转换方法包括：接收源端序列；将所述源端序列转换为源端向量表示序列；根据所述源端向量表示序列获取至少两个候选目标端序列，以及所述至少两个候选目标端序列中每一个候选目标端序列的翻译概率值；对所述每一个候选目标端序列的翻译概率值进行调整；根据所述每一个候选目标端序列的调整后的翻译概率值，从所述至少两个候选目标端序列中选择输出目标端序列；输出所述输出目标端序列。使用本发明，能够在进行序列转换时提高目标端序列相对于源端序列的忠诚度。

技术领域

本发明涉及计算机技术，具体涉及一种序列转换方法及装置。

背景技术

随着计算机技术的飞速发展，深度学习的研究也取得了较大进展，涉及自然语言处理的序列到序列学习(sequence-to-sequence learning)也取得了突破性的进展，序列到序列学习是一种将源端序列映射到目标端序列的学习过程。序列到序列学习的成果主要用于序列转换，典型的序列转换的应用场景包括机器翻译(Machine Translation)、语音识别(speech recognition)、对话系统(dialog system or conversational agent)、自动摘要(automatic summarization)、自动问答(question answering)和图像说明文字生成(image caption generation)等等。

一种典型的序列转换方法包括两个阶段：编码阶段和解码阶段。其中，编码阶段一般会通过循环神经网络(Recurrent Neural Network，RNN)将源端序列转化源端向量表示序列，然后再通过注意力机制(attention mechanism)将源端向量表示序列转换为源端上下文向量，，具体地，每次选择源端序列的一部分转化为源端上下文向量，因此源端序列可以被转化为多个源端上下文向量(从而为解码阶段的每个目标端词生成对应的源端上下文向量)。解码阶段通过每次生成一个目标端词的方式生成目标端序列：在每一步中，解码器根据编码阶段获取的当前源端上下文向量，以及上一步的解码器中间状态和上一步生成的目标端词，来计算当前的解码器中间状态，根据该当前的中间状态及源端上下文向量预测当前步骤的目标端词。

在序列转换方法应用到自然语言处理时，由于源端序列和目标端序列的长度都是不固定的，因此在解码阶段也可以使用RNN进行处理。

由于RNN在预测过程中主要参考的还是已经预测获取的目标端上下文向量，而仅仅将源端上下文向量作为一个额外的输入，导致当前源端上下文向量对应的信息可能不会正确地传递到对应的目标端上下文向量，存在过多的遗漏翻译(under-translation)和过度翻译(over-translation)，从而导致预测获取的目标端序列不能忠诚地体现源端序列的信息。

发明内容

本发明实施例提供了序列转换方法及装置，能够在进行序列转换时提高目标端序列相对于源端序列的准确性。

本发明的第一方面提供了一种序列转换方法，包括：

接收源端序列；

将所述源端序列转换为源端向量表示序列；

根据所述源端向量表示序列获取至少两个候选目标端序列，以及所述至少两个候选目标端序列中每一个候选目标端序列的翻译概率值；

对所述每一个候选目标端序列的翻译概率值进行调整；

根据所述每一个候选目标端序列的调整后的翻译概率值，从所述至少两个候选目标端序列中选择输出目标端序列；输出所述输出目标端序列。

其中，对候选目标端序列的翻译概率值进行调整时，可以直接使用预先设置好的调整因子，也可以使用预先设置的调整算法。其中，使用调整因子可以提高系统的处理效率，使用调整算法可以提高调整后的翻译概率值的准确性。