[发明专利]文本的生成方法和装置

说明书

本公开提供一种文本的生成方法和装置，其中，方法包括：获取用于生成文本的素材；将所述素材输入至文本生成模型的编码器中，生成文本生成模型中的各个编码层的编码结果；其中，所述文本生成模型包括编码器和解码器，所述编码器包括多个编码层，所述解码器包括多个解码层；基于各个编码层的编码结果对应的权重，确定输出至解码器的各个解码层的编码向量；确定每个解码层的查询向量，基于所述编码向量和查询向量，确定所述每个所述解码层的输出结果，并将所述解码层的输出结果生成所述文本。本公开通过对文本生成模型中编码层的低层的语法信息的关注，减少文本生成的信息损失，提高生成文本的准确度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种文本的生成方法和装置。

背景技术

Transformer是在17年6月提出的NLP(nature language processing)即自然语言处理的经典之作，在机器翻译任务上的表现超过了RNN，CNN，只用encoder-decoder和attention机制就能达到很好的效果，最大的优点是可以高效地并行化。transformer的编码器有6层，解码器有6层，研究表明，层数对生成效果具有决定性影响。原因在于，低层负责文本的初级特征抽取与构建比如语法特征，高层负责文本的高级特征抽取比如语义特征，最终使得模型效果出色。但是目前transformer在编码器与解码器之间的注意力交互仅仅存在于编码器的最高一层，所有的解码器层均只与编码器的最高一层进行交互，这样解码器便只能对输入文本的高级语义特征进行交互，缺乏对编码器低层语法信息的关注。因而，在文本生成的过程中存在信息损失，导致文本生成的效果不佳。

发明内容

本公开提供一种文本的生成方法和装置，用以解决现有技术中文本生成过程中信息损失和准确度不高的缺陷，实现对语法信息的关注，提高文本生成的准确度。

第一方面，本公开提供一种文本的生成方法，包括：

获取用于生成文本的素材；

将所述素材输入至文本生成模型的编码器中，生成文本生成模型中的各个编码层的编码结果；其中，所述文本生成模型包括编码器和解码器，所述编码器包括多个编码层，所述解码器包括多个解码层；

基于各个编码层的编码结果对应的权重，确定输出至解码器的各个解码层的编码向量；

确定每个解码层的查询向量，基于所述编码向量和查询向量，确定所述每个所述解码层的输出结果，并将所述解码层的输出结果生成所述文本。

根据本公开提供的一种文本的生成方法，其中，所述将所述素材输入至文本生成模型的编码器中，生成文本生成模型中的各个编码层的编码结果，具体包括：

获取所述素材的词嵌入向量；

将所述词嵌入向量输入至所述文本生成模型的第一层编码器中，的所述第一层编码层的编码结果；

获取前一个编码层的编码结果输入至后一个编码层中得到所述后一个编码层的输出结果。

根据本公开提供的一种文本的生成方法，其中，所述基于各个编码层的编码结果对应的权重，确定输出至解码器的各个解码层的编码向量，包括：

确定一个解码层与所述各个编码层之间的交互权重；

根据所述交互权重和所述各个编码层的编码结果确定输出至解码器的各个解码层的编码向量。

根据本公开提供的一种文本的生成方法，其中，所述根据所述交互权重和所述各个编码层的编码结果确定输出至解码器的各个解码层的编码向量，具体包括：

根据所述一个解码层与一个所述编码层的交互权重和所述编码层的编码结果确定所述编码层对所述解码层的加权后的编码结果；

根据所述编码层对所述解码层的加权后的编码结果确定输出至解码器的各个解码层的编码向量。