[发明专利]文本分类模型训练方法、文本分类方法、设备和介质

权利要求书

1.一种文本分类模型训练方法，其特征在于，包括以下步骤：

获取第一训练数据，所述第一训练数据包括带标签的文本数据；

采用所述第一训练数据对第一文本分类模型进行训练，得到第二文本分类模型；

其中，所述第一文本分类模型和所述第二文本分类模型均包括标签生成模块、文本标签匹配模块和文本表示模块，文本表示模块采用基于双向器表征的语言表示模型BERT，通过BERT获取文本数据的句子表示；

获取第二训练数据，所述第二训练数据包括不带标签的文本数据；

采用所述第二文本分类模型预测所述第二训练数据的若干个标签；

确定若干个所述标签的第一标签概率和第二标签概率，其中，若干个所述标签的标签概率之和为1，所述第一标签概率和所述第二标签概率对应两个标签概率最大的标签，所述第二标签概率小于所述第一标签概率且大于剩余标签概率，所述剩余标签概率为若干个所述标签中不包括第一标签和第二标签的标签概率；

当所述第一标签概率和所述第二标签概率不近似相等时，获取第一分类阈值和第二分类阈值，所述第一分类阈值大于所述第二分类阈值；当所述第一标签概率大于所述第一分类阈值，则将所述第一标签概率对应的标签作为所述第二训练数据的伪标签；当所述第一标签概率小于等于所述第一分类阈值，则执行以下步骤：当所述第一标签概率大于所述第二分类阈值且所述第一标签概率与所述第二标签概率之和大于所述第一分类阈值，则将所述第一标签概率对应的标签和所述第二标签概率对应的标签作为所述第二训练数据的伪标签；

当所述第一标签概率和所述第二标签概率近似相等时，确定所述第一训练数据的第一句向量，以及确定第二训练数据的第二句向量；计算所述第二句向量与所述第一句向量的第一相似度；当所述第一相似度中最大的相似度大于第三分类阈值，将所述最大的相似度对应第一句向量的第一训练数据的标签作为所述第二训练数据的伪标签；

采用带有伪标签的第二训练数据和所述第一训练数据对所述第二文本分类模型进行训练，得到目标文本分类模型。

2.根据权利要求1所述的一种文本分类模型训练方法，其特征在于，在所述将若干个所述标签中满足预设要求的标签作为所述第二训练数据的伪标签这一步骤后，还包括以下步骤：

获取伪标签文本预设个数；

当带有伪标签的第二训练数据大于伪标签文本预设个数，获取与伪标签文本预设个数相等数量的带有伪标签的第二训练数据作为伪标签训练数据。

3.根据权利要求1所述的一种文本分类模型训练方法，其特征在于，在执行所述采用带有伪标签的第二训练数据和所述第一训练数据对所述第二文本分类模型进行训练时，还包括以下步骤：

获取标签类别权重和平衡系数；

根据所述标签类别权重和所述平衡系数计算训练过程的损失权重。