[发明专利]一种用于文本分类的半监督学习方法和系统

权利要求书

1.一种用于文本分类的半监督学习方法，其特征在于，包括步骤：

获取用于相关任务的样本集，所述样本集包括标注样本集和未标记样本集；

对所述样本集进行预处理；

对预处理后的未标记样本集进行预测和分类标注，对所述样本集进行扩充；

采用扩充后的样本集，对深度学习模型进行训练；

所述对预处理后的未标记样本集进行预测和分类标注，对所述样本集进行扩充，具体包括步骤：

采用所述标注样本集对所述深度学习模型进行预训练，得到预训练模型；

采用所述预训练模型对第一部分未标记样本进行预测，并设置置信阈度；

将所述第一部分未标记样本的预测结果与所述置信阈度进行对比，高于所述置信阈度的所述未标记样本添加到标注样本集，完成扩充；

还包括：对第二部分未标记样本采用无监督聚类算法对样本进行聚类，将样本划分为多个簇，使用簇中心对应的类别作为所述样本的类别标记，并用做模型训练样本。

2.根据权利要求1所述的用于文本分类的半监督学习方法，其特征在于，所述深度学习模型采用bert模型。

3.根据权利要求1所述的用于文本分类的半监督学习方法，其特征在于，所述无监督聚类算法采用KNN算法。

4.一种用于文本分类的半监督学习系统，其特征在于，包括：

获取模块，用于获取用于相关任务的样本集，所述样本集包括标注样本集和未标记样本集；

预处理模块，用于对所述样本集进行预处理；

扩充模块，用于对预处理后的未标记样本集进行预测和分类标注，对所述样本集进行扩充；

训练模块，用于采用扩充后的样本集，对深度学习模型进行训练；

所述扩充模块包括：

预训练模块，用于采用所述标注样本集对所述深度学习模型进行预训练，得到预训练模型；

预测模块，用于采用所述预训练模型对第一部分未标记样本进行预测，并设置置信阈度；

扩充模块，用于将所述第一部分未标记样本的预测结果与所述置信阈度进行对比，高于所述置信阈度的所述未标记样本添加到标注样本集，完成扩充；

还包括聚类模块，用于对第二部分未标记样本采用无监督聚类算法对样本进行聚类，将样本划分为多个簇，使用簇中心对应的类别作为所述样本的类别标记，并用做模型训练样本。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器处理权利要求1-3任一所述的用于文本分类的半监督学习方法的步骤。

6.一种电子设备，其特征在于，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1-3任一所述的用于文本分类的半监督学习方法。