[发明专利]文本生成模型的训练方法、装置、电子设备及存储介质

权利要求书

1.一种文本生成模型的训练方法，其特征在于，包括：

对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；

根据所述文本样本和所述掩码文本，对自然语言理解模型进行训练，得到训练完成的自然语言理解模型，所述自然语言理解模型的架构为编码器架构，所述训练完成的自然语言理解模型用于指导文本生成模型的训练；

将所述掩码文本输入所述训练完成的自然语言理解模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第一输出结果，并将所述掩码文本输入所述文本生成模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第二输出结果，所述文本生成模型的架构为编码器解码器架构；

根据所述第二输出结果和所述第一输出结果，确定所述文本生成模型的第一损失函数值，并根据所述第二输出结果和所述文本样本，确定所述文本生成模型的第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值，对所述文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。

2.根据权利要求1所述的方法，其特征在于，所述对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本，包括：

针对所述文本样本，在预设词数量范围内进行数值采样，得到待进行掩码操作的词数量；

对所述文本样本中连续的所述词数量的词进行掩码操作，得到包括掩码片段的掩码文本。

3.根据权利要求1所述的方法，其特征在于，所述掩码片段包括占位符；

所述对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本，包括：

将所述文本样本中连续的至少两个词分别替换为所述占位符，得到包括所述掩码片段的掩码文本。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一损失函数值和所述第二损失函数值，对所述文本生成模型的网络参数进行调整，包括：

对所述第一损失函数值和所述第二损失函数值进行加权求和，得到目标损失函数值；

根据所述目标损失函数值，对所述文本生成模型的网络参数进行调整。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第二输出结果和所述第一输出结果，确定所述文本生成模型的第一损失函数值，包括：

将所述第二输出结果与所述第一输出结果之间的相对熵确定为所述第一损失函数值。

6.根据权利要求1-3任一项所述的方法，其特征在于，在所述获得预训练完成的文本生成模型之后，还包括：

根据文本摘要数据集对所述预训练完成的文本生成模型进行微调训练，得到文本摘要生成模型；

通过所述文本摘要生成模型对待处理文本进行处理，得到所述待处理文本对应的文本摘要。

7.一种文本生成模型的训练装置，其特征在于，包括：

掩码模块，被配置为执行对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；

教师模型训练模块，被配置为执行根据所述文本样本和所述掩码文本，对自然语言理解模型进行训练，得到训练完成的自然语言理解模型，所述自然语言理解模型的架构为编码器架构，所述训练完成的自然语言理解模型用于指导文本生成模型的训练；

模型处理模块，被配置为执行将所述掩码文本输入所述训练完成的自然语言理解模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第一输出结果，并将所述掩码文本输入所述文本生成模型进行所述掩码片段的词表概率分布预测处理，得到针对所述掩码片段的第二输出结果，所述文本生成模型的架构为编码器解码器架构；

损失函数值确定模块，被配置为执行根据所述第二输出结果和所述第一输出结果，确定所述文本生成模型的第一损失函数值，并根据所述第二输出结果和所述文本样本，确定所述文本生成模型的第二损失函数值；

参数调整模块，被配置为执行根据所述第一损失函数值和所述第二损失函数值，对所述文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。