[发明专利]文本分类模型的训练方法、装置及文本分类方法

权利要求书

1.一种文本分类模型的训练方法，其特征在于，包括：

构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；

将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；

将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；

根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。

2.根据权利要求1所述的方法，其特征在于，在所述构建所述分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系的步骤之前，还包括：

基于无标注的领域训练数据，对MLM模型进行文本分类任务训练，得到更新后的MLM模型；

基于有标注的领域训练数据，对所述更新后的MLM模型进行文本分类任务训练。

3.根据权利要求1所述的方法，其特征在于，所述构建分类任务的候选空间包括：

确定所述分类任务的实际类别的数量；

根据所述数量，以及所述分类任务的应用场景，确定所述候选空间的多个子集；

将所述多个子集，按照预设排序规则进行排序，得到所述候选空间。

4.根据权利要求1所述的方法，其特征在于，所述建立所述候选空间与实际类别之间的映射关系包括：

根据所述候选空间中各子集的语义特征，建立所述候选空间中各子集与各实际类别之间的一一对应关系，将所述对应关系作为所述映射关系。

5.根据权利要求1所述的方法，其特征在于，在本申请的一些实施例中，在上述方法中，所述将有标注训练数据转化为掩蔽语言文本，包括：

对所述有标注训练数据添加指定形容词；

在所述形容词的指定位置添加限制性词语，其中，所述限制性词语属于所述候选空间；

将所述限制性词语作为被掩蔽的token，得到掩蔽语言文本。

6.根据权利要求1～5中任一项所述的方法，其特征在于，所述MLM模型为采用MLM方法训练得到的BERT模型或RoBERTa模型。

7.一种文本分类模型的训练装置，其特征在于，所述装置包括：

构建单元，用于构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；

转化单元，用于将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；

Token预测单元，用于将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；

映射及更新单元，用于根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。

8.一种文本分类方法，其特征在于，所述方法是采用权利要求1～6中任一项所述的文本模型的训练方法得到的文本分类模型实现的。

9.一种电子设备，其特征在于，包括：

处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～6所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～7中任一项所述的方法。