[发明专利]语言模型的训练方法、装置、设备及存储介质

权利要求书

1.一种语言模型的训练方法，其特征在于，所述方法包括：

基于提示文本和样本文本构建第一输入文本，所述提示文本中包含样本标签，所述样本标签为所述样本文本的标签，所述第一输入文本中缺少所述样本标签；

基于所述第一输入文本构建第二输入文本，所述第二输入文本与所述第一输入文本的语义一致，所述第二输入文本中包含所述样本标签，且缺少部分文本内容，其中，缺少的文本内容属于所述样本文本；

基于所述第一输入文本和所述第二输入文本调整预训练语言模型，所述预训练语言模型用于基于输入文本的上下文信息预测所述输入文本中的缺失内容。

2.根据权利要求1所述的方法，其特征在于，所述基于提示文本和样本文本构建第一输入文本，包括：

将所述提示文本中的所述样本标签替换为第一掩码，得到掩码替换后的所述提示文本；

对掩码替换后的所述提示文本和所述样本文本进行文本拼接，得到所述第一输入文本；

所述基于所述第一输入文本构建第二输入文本，包括：

将所述第一输入文本中的所述第一掩码替换为所述样本标签，以及将所述样本文本中的目标子文本替换为第二掩码，得到所述第二输入文本。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一输入文本和所述第二输入文本调整预训练语言模型，包括：

通过第一预训练语言模型对所述第一输入文本中的所述第一掩码进行预测，得到第一预测结果；

通过第二预训练语言模型对所述第二输入文本中的所述第二掩码进行预测，得到第二预测结果，所述第一预训练语言模型和所述第二预训练语言模型为孪生模型；

基于所述样本标签和所述第一预测结果确定第一损失值；

基于所述目标子文本和所述第二预测结果确定第二损失值；

基于所述第一损失值和所述第二损失值，训练所述第一预训练语言模型和所述第二预训练语言模型。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一输入文本和所述第二输入文本调整预训练语言模型，包括：

通过第一预训练语言模型对所述第一输入文本中的所述第一掩码进行预测，得到第一预测结果；

通过第二预训练语言模型对所述第二输入文本中的所述第二掩码进行预测，得到第二预测结果，所述第一预训练语言模型和所述第二预训练语言模型为孪生模型；

基于所述样本标签和所述第一预测结果确定第一损失值；

基于所述目标子文本和所述第二预测结果确定第二损失值；

基于第一语义特征和第二语义特征确定第三损失值，所述第一语义特征为所述第一预训练语言模型在预测过程中输出的中间层语义特征，所述第二语义特征为所述第二预训练语言模型在预测过程中输出的中间层语义特征；

基于所述第一损失值、所述第二损失值以及所述第三损失值，训练所述第一预训练语言模型和所述第二预训练语言模型。

5.根据权利要求3或4所述的方法，其特征在于，所述通过第一预训练语言模型对所述第一输入文本中的所述第一掩码进行预测，得到第一预测结果，包括：

通过所述第一预训练语言模型的隐藏层对所述第一输入文本进行特征提取，得到所述第一输入文本中子文本对应的子文本特征；

基于所述第一掩码对应的子文本特征，通过所述第一预训练语言模型的输出头输出所述第一掩码对应的第一概率分布，所述第一概率分布用于表征所述第一掩码对应不同候选标签的概率。

6.根据权利要求3或4所述的方法，其特征在于，所述通过第二预训练语言模型对所述第二输入文本中的所述第二掩码进行预测，得到第二预测结果，包括：

通过所述第二预训练语言模型的隐藏层对所述第二输入文本进行特征提取，得到所述第二输入文本中子文本对应的子文本特征；

基于所述第二掩码对应的子文本特征，通过所述第二预训练语言模型的输出头输出所述第二掩码对应的第二概率分布，所述第二概率分布用于表征所述第二掩码对应不同候选词汇的概率。