[发明专利]语言模型训练方法、装置、电子设备和计算机可读介质

说明书

本申请实施例公开了语言模型训练方法、装置、电子设备和计算机可读介质。该方法的实施例包括：语言模型训练方法，其特征在于，方法包括：基于自然语言处理任务选取第一文本样本集，并利用第一文本样本集对第一预训练模型进行训练，得到初始语言模型；利用初始语言模型对预设的测试文本集中的测试文本进行测试，并基于测试结果和测试文本，生成第二文本样本集；利用第二文本样本集对第一预训练模型进行训练，得到第二预训练模型；利用第一文本样本集对第二预训练模型进行训练，得到目标语言模型。该实施方式能够得到一种应用于自然语言处理任务的模型，该模型能够提高处理结果的准确性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及语言模型训练方法、装置、电子设备和计算机可读介质。

背景技术

随着计算机技术的发展，自然语言处理(Natural Language Processing，NLP)应用在了多个领域。其中，语言模型是自然语言处理领域的重要技术，可应用于文本分类、实体识别、阅读理解等多种文本处理场景。

现有技术中，通常使用公开的数据集训练得到一个预训练模型，而后，采用针对当前的自然语言处理任务所定制的少量文本样本，对该预训练模型进行进一步训练，得到所需的语言模型。然而，公开的数据集对于当前的自然语言处理任务的针对性较低，因而预训练模型的处理效果较差，由此导致基于该预训练模型所训练出的语言模型的文本处理结果不够准确。

发明内容

本申请实施例提出了语言模型训练方法、装置、电子设备和计算机可读介质，以解决现有技术中语言模型的处理结果准确性较低的技术问题。

第一方面，本申请实施例提供了一种语言模型训练方法，该方法包括：基于自然语言处理任务选取第一文本样本集，并利用所述第一文本样本集对第一预训练模型进行训练，得到初始语言模型；利用所述初始语言模型对预设的测试文本集中的测试文本进行测试，并基于测试结果和所述测试文本，生成第二文本样本集；利用所述第二文本样本集对所述第一预训练模型进行训练，得到第二预训练模型；利用所述第一文本样本集对所述第二预训练模型进行训练，得到目标语言模型。

第二方面，本申请实施例提供了一种文本类别检测方法，包括：获取目标文本；将所述目标文本输入至采用上述语言模型训练方法预先训练得到的目标语言模型，得到所述目标文本的类别信息。

第三方面，本申请实施例提供了一种实体识别方法，包括：获取目标文本；将所述目标文本输入至采用上述语言模型训练方法预先训练得到的目标语言模型，得到所述目标文本中的实体。

第四方面，本申请实施例提供了一种信息提取方法，包括：获取目标文本；将所述目标文本输入至采用上述语言模型训练方法预先训练得到的目标语言模型，得到所述目标文本中的关键词；将所述关键词进行汇总，得到目标信息。

第五方面，本申请实施例提供了一种语言模型训练装置，该装置包括：第一训练单元，用于基于自然语言处理任务选取第一文本样本集，并利用所述第一文本样本集对第一预训练模型进行训练，得到初始语言模型；测试单元，用于利用所述初始语言模型对预设的测试文本集中的测试文本进行测试，并基于测试结果和所述测试文本，生成第二文本样本集；第二训练单元，用于利用所述第二文本样本集对所述第一预训练模型进行训练，得到第二预训练模型；第三训练单元，用于利用所述第一文本样本集对所述第二预训练模型进行训练，得到目标语言模型。

第六方面，本申请实施例提供了一种文本类别检测装置，包括：获取单元，用于获取目标文本；类别检测单元，用于将所述目标文本输入至采用上述语言模型训练方法预先训练得到的目标语言模型，得到所述目标文本的类别信息。

第七方面，本申请实施例提供了一种实体识别装置，包括：获取单元，用于获取目标文本；实体识别单元，用于将所述目标文本输入至采用上述语言模型训练方法预先训练得到的目标语言模型，得到所述目标文本中的实体。