[发明专利]一种文本生成方法、装置及相关设备

说明书

本公开提供一种文本生成方法、装置及相关设备，该方法包括：对获取到的长文本进行编码，得到编码器隐藏序列；计算当前词的生成概率和生成输出概率；判断所述当前词是否为预先设定的被禁用词，若所述当前词为预先设定的被禁用词，将所述当前词的生成概率置零，基于所述生成输出概率，计算所述当前词的正则前解码概率；基于所述当前词的正则前解码概率，通过正则化计算所述当前词的解码概率；基于所述当前词的解码概率，选择所述编码器隐藏序列的解码路径，获得目标文本。该方法可以在保证输出文本准确性的情况下，提高输出文本的流畅度。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种文本生成方法、装置及相关设备。

背景技术

现有技术一般采用基于复制机制的文本生成模型进行文本自动生成。现有的基于复制机制的文本生成模型的解码概率由两部分构成：生成概率和复制概率，模型存在着由于某些不相关词的生成概率过大，影响输出文本的正确性的技术问题。

为解决这个问题，现有的解决方案是将容易引起事实错误的词的生成概率置零，但这样又存在着影响语言模型，导致生成不流畅的文本。

发明内容

针对现有技术存在的问题，本公开实施例提供一种文本生成方法、装置及相关设备。

第一方面，本公开提供一种文本生成方法，包括：对获取到的长文本进行编码，得到编码器隐藏序列；计算当前词的生成概率和生成输出概率；基于所述当前词是否为预先设定的被禁用词的判断结果，若所述当前词为预先设定的被禁用词，将所述当前词的生成概率置零，基于所述生成输出概率，计算所述当前词的正则前解码概率；基于所述当前词的正则前解码概率，通过正则化计算所述当前词的解码概率；基于所述当前词的解码概率，选择所述编码器隐藏序列的解码路径，获得目标文本。

根据本公开提供的一种文本生成方法，所述方法还包括：若所述当前词不是预先设定的被禁用词，基于所述当前词的所述生成概率和所述生成输出概率，计算所述当前词的解码概率。

根据本公开提供的一种文本生成方法，所述对获取到的长文本进行编码，得到编码器隐藏序列，具体包括：采用双向神经网络对获取到的长文本进行编码，得到编码器隐藏序列。

根据本公开提供的一种文本生成方法，所述计算当前词的生成概率和生成输出概率，具体包括：基于编码器隐藏序列，获取解码器隐藏序列；基于所述编码器隐藏序列和所述解码器隐藏序列，获取当前词的词嵌入和当前词的前一个词的解码器状态；基于所述当前词的词嵌入和所述当前词的前一个词的解码器状态，获取对当前词的注意力分配数；基于归一化指数函数，归一化所述注意力分配数，得到归一分配数；基于所述归一分配数和所述编码器隐藏序列，获取当前词的上下文向量；基于所述上下文向量和所述解码器隐藏序列，获取当前词的生成概率；基于所述上下文向量、所述解码器隐藏序列和所述当前词，获取当前词的生成输出概率。

根据本公开提供的一种文本生成方法，所述基于所述当前词的所述生成概率和所述生成输出概率，计算所述当前词的解码概率，包括：

根据公式：

确定所述当前词的解码概率P(w)；其中，p_gen为所述当前词的所述生成输出概率，P_vocab(w)为所述当前词的所述生成概率，α_t,m为所述当前词不是预先设定的被禁用词时，当前词w_m的归一分配数。

根据本公开提供的一种文本生成方法，所述基于所述生成输出概率，计算所述当前词的正则前解码概率，包括：

根据公式：

确定所述当前词的正则前解码概率P₁(w)；其中，p_gen为所述当前词的所述生成输出概率，α_t,i为所述归一分配数。