[发明专利]半监督文本分类模型训练方法、文本分类方法、系统、设备及介质

权利要求书

1.一种半监督文本分类模型训练方法，其特征在于，包括：

获取初始样本集，所述初始样本集包括若干标注样本和未标注样本，所述标注样本标注有分类标签；

对各所述未标注样本进行文本数据增强处理，得到对应的数据增强样本；

将各所述未标注样本和各所述数据增强样本分别输入预设的文本分类模型进行处理，得到各所述未标注样本和各所述数据增强样本的嵌入向量以及属于各分类标签的预测概率；

针对每个所述未标注样本，获取该未标注样本与对应的所述数据增强样本的嵌入向量均值，并将所述嵌入向量均值作为与该未标注样本对应的新样本的嵌入向量；

针对每个所述未标注样本，获取该未标注样本与对应的所述数据增强样本属于各分类标签的预测概率均值，而后对所述预测概率均值进行锐化处理，得到锐化概率均值作为与该未标注样本对应的新样本的标签估计结果；

校验各所述新样本的标签估计结果是否可信，当可信时，将对应所述新样本标记为可信任新样本；

根据所述标注样本的嵌入向量与分类标签、以及所述可信任新样本的嵌入向量与标签估计结果，构建置信样本集；

对所述置信样本集进行数据扩充处理，得到目标样本集；

根据所述目标样本集，对所述文本分类模型进行训练，得到目标文本分类模型；

针对每个所述未标注样本，校验该未标注样本与对应的所述数据增强样本属于各分类标签的预测概率均值中最大的一个是否大于预先获取的置信度阈值，若是，则判定与该未标注样本对应的新样本可信，否则，判定与该未标注样本对应的新样本不可信；

所述对所述置信样本集进行数据扩充处理，得到目标样本集的步骤包括：

将所述置信样本集分成两部分，第一部分样本包含的样本数量与所述标注样本的数量一致，除所述第一部分样本以外的样本作为第二部分样本；

利用MixUp算法对所述第一部分样本与所述标注样本进行处理，得到第一插值样本集；

利用MixUp算法对所述第二部分样本与所述新样本进行处理，得到第二差值样本集；

将所述第一插值样本集与所述第二差值样本集合并成所述目标样本集。

2.根据权利要求1所述的半监督文本分类模型训练方法，其特征在于，在对各所述未标注样本进行文本数据增强处理之前，所述方法还包括：对所述标注样本和未标注样本进行数据清洗处理。

3.根据权利要求1所述的半监督文本分类模型训练方法，其特征在于，所述对各所述未标注样本进行文本数据增强处理的步骤包括：

对各所述未标注样本进行反译处理，并将反译处理结果作为对应的数据增强样本。

4.根据权利要求1所述的半监督文本分类模型训练方法，其特征在于，所述对各所述未标注样本进行文本数据增强处理的步骤包括：

利用TF-IDF算法获取各所述未标注样本中的关键词和非关键词；

对各所述未标注样本中的非关键词进行词替换处理，并将词替换处理结果作为对应的数据增强样本。

5.一种文本分类方法，其特征在于，包括：

获取目标文本；

将所述目标文本输入根据前述权利要求1-4中任意一项所述的文本分类模型训练方法训练得到的目标文本分类模型中进行处理，得到所述目标文本属于各分类标签的预测概率，并将预测概率最大值所对应的分类标签作为所述目标文本的分类结果。