[发明专利]分类模型训练方法、系统、设备及存储介质

说明书

本发明提供了一种分类模型训练方法、系统、设备及存储介质，该方法包括：获取训练集，所述训练集包括第一文本样本和第二文本样本，所述第一文本样本具有分类标签，所述第二文本样本不具有分类标签；采用所述训练集，基于半监督学习训练所述分类模型，其中，采用所述第一文本样本对所述分类模型进行有监督学习，采用所述第二文本样本对所述分类模型进行无监督学习。本发明充分利用包括有标签数据和没标签数据的现有数据，提高模型训练效果，一方面解决了现有技术中训练分类模型时没有足够的训练数据而导致分类模型模型容易过拟合的问题，另一方面无需人工进行标注，减少了人工标注成本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分类模型训练方法、系统、设备及存储介质。

背景技术

当前的分类模型进行训练时，所采用的训练集中的样本数量可能存在不足，训练样本不足会导致模型很容易过拟合。因此需要对训练集进行数据增强，增多训练样本数量。当前文本中使用比较多的数据增强算法包含回译、EDA、基于非核心词的替换等，回译方法的基本流程很简单，利用翻译模型将语种1的原始文本翻译为语种2的文本表达，基于语种2的表达再翻译为语种3的文本表达，最后再直接从语种3的形式翻译回语种1的文本表达，此文本即是原始文本增强后的文本。

EDA即基于随机词替换的数据增强方法是对一类文本数据增强方法的统称，其基本方法类似于图像增强技术中的随机裁剪、图像缩放，通常是随机地选择文本中一定比例的词，并对这些词进行同义词替换、删除等简单操作，不像回译等模型，需要外部预训练好的模型的辅助。EDA技术可以有效提高模型的泛化能力，降低泛化误差，即使在完整数据集下，EDA技术也可以带来平均0.8个百分点的提升。然而，EDA技术对于要替换的词是随机选择的，因此一种直观感受是，如果一些重要词被替换了，那么增强后文本的质量会大打折扣。为了尽量避免这一问题，又出现了基于非核心词替换的数据增强技术。

然而，以上这些算法只是对文本内容进行局部的变换，没有充分的考虑到增强文本的有效性和多样性。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种分类模型训练方法、系统、设备及存储介质，充分利用现有数据，减少标注成本，提高模型训练效果。

本发明实施例提供一种分类模型训练方法，包括如下步骤：

获取训练集，所述训练集包括第一文本样本和第二文本样本，所述第一文本样本具有分类标签，所述第二文本样本不具有分类标签；

采用所述训练集，基于半监督学习训练所述分类模型，其中，采用所述第一文本样本对所述分类模型进行有监督学习，采用所述第二文本样本对所述分类模型进行无监督学习。

在一些实施例中，所述基于半监督学习训练所述分类模型，包括基于有监督学习的损失函数和无监督学习的损失函数构建所述分类模型的损失函数。

在一些实施例中，采用所述第一文本样本对所述分类模型进行有监督学习，包括基于所述第一文本样本的预测类别和标签类别，采用交叉熵损失函数构建所述分类模型的有监督学习的损失函数。

在一些实施例中，还包括如下步骤：

基于所述第二文本样本进行数据增强，得到增强文本样本。

在一些实施例中，所述基于所述第二文本样本进行数据增强，包括采用如下至少一种方式对所述第二文本样本进行数据增强：

对所述第二文本样本进行回译处理，得到第一增强文本样本，作为增强文本样本；

对所述第二文本样本进行随机单词的相似词替换，得到第二增强文本样本，作为增强文本样本；

对所述第二文本样本进行基于单词重要性的相似词替换，得到第三增强文本样本，作为增强文本样本。