[发明专利]语言模型的训练方法、装置、设备及存储介质

说明书

本申请公开了一种语言模型的训练方法、装置、设备及存储介质，涉及人工智能领域。方法包括：基于提示文本和样本文本构建第一输入文本，提示文本中包含样本标签，样本标签为样本文本的标签，第一输入文本中缺少样本标签；基于第一输入文本构建第二输入文本，第二输入文本与第一输入文本的语义一致，第二输入文本中包含样本标签，且缺少部分文本内容，其中，缺少的文本内容属于样本文本；基于第一输入文本和第二输入文本调整预训练语言模型，预训练语言模型用于基于输入文本的上下文信息预测输入文本中的缺失内容。本申请实施例方案有助于提高少样本场景下语言模型的训练质量。

技术领域

本申请实施例涉及人工智能领域，特别涉及一种语言模型的训练方法、装置、设备及存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)在机器语言和人类语言之间架起沟通的桥梁，实现了人机交流的目的。预训练语言模型(pre-trained LanguageModel)将自然语言处理带入一个新的阶段，其研究思路是先通过大数据预训练，而后基于下游任务对预训练模型进行小数据微调。

相关技术中，为了使后续微调阶段与预训练阶段执行相同任务，以提高语言模型训练质量，通常采用提示性微调(prompt-tuning)方式进行微调。提示性微调过程中，计算机设备在样本文本前或后拼接提示文本，并利用预训练语言模型对提示文本中包含的样本标签进行概率分布预测，进而基于预测得到的概率分布对预训练语言模型进行微调。

然而，在少样本场景下，即微调过程中具有标签的样本较少时，预训练语言模型的微调效果不佳，影响最终训练得到的语言模型的质量。

发明内容

本申请实施例提供了一种语言模型的训练方法、装置、设备及存储介质，能够提高少样本场景下语言模型的训练质量。所述技术方案如下：

一方面，本申请实施例提供了一种语言模型的训练方法，所述方法包括：

基于提示文本和样本文本构建第一输入文本，所述提示文本中包含样本标签，所述样本标签为所述样本文本的标签，所述第一输入文本中缺少所述样本标签；

基于所述第一输入文本构建第二输入文本，所述第二输入文本与所述第一输入文本的语义一致，所述第二输入文本中包含所述样本标签，且缺少部分文本内容，其中，缺少的文本内容属于所述样本文本；

基于所述第一输入文本和所述第二输入文本调整预训练语言模型，所述预训练语言模型用于基于输入文本的上下文信息预测所述输入文本中的缺失内容。

另一方面，本申请实施例提供了一种语言模型的训练装置，所述装置包括：

第一构建模块，用于基于提示文本和样本文本构建第一输入文本，所述提示文本中包含样本标签，所述样本标签为所述样本文本的标签，所述第一输入文本中缺少所述样本标签；

第二输入文本生成模块，用于基于所述第一输入文本构建第二输入文本，所述第二输入文本与所述第一输入文本的语义一致，所述第二输入文本中包含所述样本标签，且缺少部分文本内容，其中，缺少的文本内容属于所述样本文本；

语言模型预训练模块，用于基于所述第一输入文本和所述第二输入文本调整预训练语言模型，所述预训练语言模型用于基于输入文本的上下文信息预测所述输入文本中的缺失内容。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的语言模型的训练方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一条指令由处理器加载并执行以实现如上述方面所述的语言模型的训练方法。