[发明专利]文本处理装置、方法、设备以及计算机可读存储介质

说明书

本申请涉及一种文本处理装置、方法、设备以及计算机可读存储介质。所述文本处理装置包括：编码单元，配置成对源文本进行编码以得到源文本编码隐藏状态；解码单元，配置成确定解码隐藏状态；以及输出单元，配置成根据外部信息、所述源文本编码隐藏状态、所述解码隐藏状态确定输出词语概率分布，以确定输出词语。

技术领域

本公开涉及文本处理领域，并且具体涉及一种文本处理装置、方法、设备以及计算机可读存储介质。

背景技术

在现有的文本处理，例如文本转换、文本生成等过程中，可以通过对输入的源文本进行处理以得到最终的文本处理结果。

在一些情况下，为了得到更理想的结果，用户可以为文本处理过程指定一些外部信息，这样的外部信息可以是用户指定的文本中的重要的信息，也可以是与源文本相关联的其他文本的信息。为了使得这样的外部信息更可能出现在文本处理结果中，需要一种在文本处理过程中充分考虑外部信息的文本处理方法。

发明内容

为了在文本处理过程中充分考虑外部信息，本公开提供了一种文本处理方法、装置、设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种文本处理装置，包括：编码单元，配置成对所述源文本进行编码以得到源文本编码隐藏状态；解码单元，配置成确定解码隐藏状态；以及输出单元，配置成根据外部信息、所述源文本编码隐藏状态、所述解码隐藏状态确定输出词语概率分布，以确定输出词语。

在一些实施例中，所述输出单元配置成：根据所述外部信息，将所述候选输出词语中概率大于等于输出概率阈值并且属于所述外部信息的词语确定为当前时间步的候选输出词语。

在一些实施例中，所述输出单元还配置成：基于当前时间步的候选输出词语与先前时间步确定的候选序列的联合概率以及先前时间步确定的候选序列与所述外部信息的相似度确定所述候选词语的候选概率，以及将候选概率最高的预设数量的候选词语确定为输出词语。

在一些实施例中，所述编码单元还配置成对所述外部信息进行编码以得到外部信息编码隐藏状态；以及所述输出单元配置成确定所述外部信息编码隐藏状态和所述源文本解码隐藏状态的相似度，当所述相似度大于等于当前时间步的相似度阈值时，所述输出单元输出所述外部信息作为输出词语。

在一些实施例中，所述输出单元还配置成：当所述相似度小于所述当前相似度阈值时，所述输出单元将所述输出词语概率分布中概率最高的词语确定为当前时间步的输出词语，调整所述当前时间步的相似度阈值以确定调整后的相似度阈值，其中所述调整后的相似度阈值小于所述当前时间步的相似度阈值，并且所述调整后的相似度阈值用作下一时间步的相似度阈值。

在一些实施例中，所述文本处理装置还包括：注意力生成单元，配置成根据外部信息、所述源文本编码隐藏状态和所述解码隐藏状态确定当前时间步的注意力分布；所述输出单元配置成根据所述注意力分布、所述源文本编码隐藏状态、所述解码隐藏状态确定输出词语概率分布，以确定输出词语。

在一些实施例中，其中所述编码单元和所述解码单元是通过以下步骤训练的：对训练源文本进行编码以得到训练源文本编码隐藏状态；确定训练解码隐藏状态；根据外部信息、所述训练源文本编码隐藏状态、所述训练解码隐藏状态确定当前时间步的输出词语；以及调整所述编码单元、所述解码单元中的参数以使得训练输出词语和外部信息中包含的词语之间的差异最小。

根据本公开的另一方面，还提供了一种文本处理方法，包括：对源文本进行编码以得到源文本编码隐藏状态；确定解码隐藏状态；以及根据外部信息、所述源文本编码隐藏状态、所述解码隐藏状态确定输出词语概率分布，以确定输出词语。

在一些实施例中，所述方法还包括：根据所述外部信息，将所述候选输出词语中概率大于等于输出概率阈值并且属于所述外部信息的词语确定为当前时间步的候选输出词语。