[发明专利]文本生成模型的训练方法、装置、电子设备及存储介质

说明书

本公开关于一种文本生成模型的训练方法、装置、电子设备及存储介质，该方法包括：对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；根据文本样本和掩码文本，对自然语言理解模型进行训练；将掩码文本输入训练完成的自然语言理解模型，得到针对掩码片段的第一输出结果，并将掩码文本输入文本生成模型，得到针对掩码片段的第二输出结果；根据第二输出结果和第一输出结果，确定文本生成模型的第一损失函数值，根据第二输出结果和文本样本，确定文本生成模型的第二损失函数值；根据第一损失函数值和第二损失函数值，对文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。本公开可以提高文本生成结果的准确性。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种文本生成模型的训练方法、装置、电子设备及存储介质。

背景技术

随着互联网的发展，各种不同形式在不同场景下的任务需求不断被提出，但是基于监督训练的模型效果非常依赖于大规模的标注数据，成本则是居高不下。BERT(Bidirectional Encoder Representations from Transformer，基于Transformer的双向编码器表征)之类预训练模型的提出解决了以上的问题，模型只需要在大规模无标注数据上进行自监督的预训练，然后在下游具体任务中使用少量带有标签的数据进行微调，就可以轻易达到最佳的模型效果。文本生成预训练作为一个重要的分支，在文本摘要、翻译、转述等生成任务上发挥了不可替代的作用。

BART模型(是用来预训练序列到序列模型的降噪自动编码器)是最开始探索文本生成预训练的方案，其主要过程是对原始文本添加不同的噪声，然后使用序列到序列模型将带有噪声的文本进行去噪，还原为原始文本。但是，在训练过程中，学习的过程主要依赖于极大似然估计(Maximum Likelihood Estimation，MLE)，导致预测得到的词表分布中只有命中的词概率为1，其余的负例概率均为0，表现为负多样性无知，也就是文本生成结果准确性较低。

发明内容

本公开提供一种文本生成模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中文本生成结果准确性低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种文本生成模型的训练方法，包括：

对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；

根据所述文本样本和所述掩码文本，对自然语言理解模型进行训练，得到训练完成的自然语言理解模型，所述自然语言理解模型的架构为编码器架构，所述训练完成的自然语言理解模型用于指导文本生成模型的训练；

将所述掩码文本输入所述训练完成的自然语言理解模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第一输出结果，并将所述掩码文本输入所述文本生成模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第二输出结果，所述文本生成模型的架构为编码器解码器架构；

根据所述第二输出结果和所述第一输出结果，确定所述文本生成模型的第一损失函数值，并根据所述第二输出结果和所述文本样本，确定所述文本生成模型的第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值，对所述文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。

可选的，所述对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本，包括：

针对所述文本样本，在预设词数量范围内进行数值采样，得到待进行掩码操作的词数量；

对所述文本样本中连续的所述词数量的词进行掩码操作，得到包括掩码片段的掩码文本。

可选的，所述掩码片段包括占位符；

所述对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本，包括：