[发明专利]语言模型的训练方法、装置和计算机设备

说明书

本申请涉及人工智能领域，揭示了语言模型的训练方法，包括：将修改后MLM任务和修改后NSP任务，输入至第一Bert模型中进行训练，得到第一Bert模型对应的第一模型参量；将第一模型参量适用于第二Bert模型中，并通过修改后MLM任务和修改后NSP任务训练第二Bert模型；判断第二Bert模型的输出结果是否达到预设条件；若是，则判定第二Bert模型已达到使用标准。通过改进Bert模型的结构以及训练方法，扩大预训练语言模型的迁移到具体应用场景的适用范围以及精准度，并在当前优化的任务数据下训练改进的Bert模型，使训练模型更能适用于具体应用场景或领域，识别效果更佳，保证了根据实时请求的具体应用场景。本申请还适用于智慧政务领域，从而推动智慧城市的建设。

技术领域

本申请涉及到人工智能领域，特别是涉及到语言模型的训练方法、装置和计算机设备。

背景技术

在通用的数据上训练的模型，包含了很多通用的语言信息，例如词法，句法信息，但缺乏具体领域的数据包含的特定语义信息，因此在使用时通常需要在下游数据上做fine-tuning进行优化训练，上述fine-tuning表示微调，否则效果会很差，而且在做fine-tuning的时候还需要保证一定的数据量，否则也很难从通用领域迁移到垂直领域。在政务领域存在大量的AI应用，但任务数据标注比较难，难以保证根据实时请求的具体应用场景，得到匹配对较高的训练模型。

发明内容

本申请的主要目的为提供语言模型的训练方法，旨在解决保证根据实时请求的具体应用场景，得到匹配对较高的训练模型的技术问题。

本申请提出一种语言模型的训练方法，包括：

将修改后MLM任务和修改后NSP任务，输入至第一Bert模型中进行训练，得到所述第一Bert模型对应的第一模型参量；

将所述第一模型参量适用于第二Bert模型中，并通过所述修改后MLM任务和修改后NSP任务训练所述第二Bert模型，其中，所述第二Bert模型相比于所述第一Bert模型，压缩了FFN层的参数数量，扩充了所述FFN层的结构层数量；

判断所述第二Bert模型的输出结果是否达到预设条件；

若是，则判定所述第二Bert模型已达到使用标准。

优选地，所述第一模型参量包括所述第一Bert模型的attention层参数，所述将所述第一模型参量适用于第二Bert模型中，并通过所述修改后MLM任务和修改后NSP任务训练所述第二Bert模型的步骤，包括：

将所述第一Bert模型作为teacher-student模式中的teacher网络，将所述第二Bert模型作为teacher-student模式中的student网络；

根据L_attention＝D_KL(A_teacher,A_student)，对所述第一Bert模型的attention层权重系数和所述第二Bert模型的attention层权重系数进行约束训练，其中，D_KL表示KL散度函数，A_teacher表示所述第一Bert模型的attention层权重系数，A_student表示所述第二Bert模型的attention层权重系数，L_attention表示attention层参数的约束关系；

判断所述student网络的attention层权重系数是否与所述teacher网络的attention层权重系数一致；

若是，则判定得到与所述第一Bert模型的attention层参数相同的第二Bert模型；

通过所述修改后MLM任务和修改后NSP任务，训练与所述第一Bert模型的attention层参数相同的第二Bert模型。