[发明专利]对训练数据集进行更新的方法和设备

说明书

本申请涉及一种对训练数据集进行更新的方法，其包括：获取初始训练数据集以及未标注数据集；对训练数据进行数据增强和/或根据预设的关键信息对未标注数据进行筛选以获得第一扩充数据，其包括满足预设类别条件的类别标注信息；根据第一扩充数据和初始训练数据集，对分类模型进行训练；用训练后的分类模型预测未标注数据集中待预测数据的类别，将所预测的类别满足预设类别条件并且其数据属性满足预设属性条件的待预测数据确定为第二扩充数据，其中，待预测数据包括未标注数据集中第一扩充数据以外的未标注数据；根据第一扩充数据和/或第二扩充数据，对初始训练数据集进行更新，得到更新后的训练数据集。

技术领域

本申请涉及数据预处理，特别是涉及对训练数据集进行更新、尤其是对训练数据集中样本数不足的类别的训练数据进行扩充的方法和设备。

背景技术

近些年，代替以往的人工分类，在企业的业务流程中越来越多地使用基于算法的分类模型来对业务数据自动进行分类，以便后续由业务数据的类别所对应的业务部门或业务人员对其进行处理。在此，分类模型的参数训练得越精确，模型预测结果就越准确，分类效果也就越好。因此用于训练分类模型的训练数据十分重要。如果用于对分类模型建模或调整模型参数的训练数据过少，将无法获得确定模型参数的足够信息。

但在实践中，所能得到的用于训练分类模型的有标签训练数据(在本文中也简称为训练数据)往往数量有限，而存在大量的未标注数据，其通常为历史数据。有标签训练数据或者说训练数据是指具有指示其所对应类别的类别标注信息的数据。相应地，未标注数据是指不具有这样的类别标注信息的数据。此外，训练数据集中常见类别样本不均衡现象。类别样本不均衡现象指的是训练数据集中各类别的训练数据的样本数不近似相等。如果各类别的训练数据的数量之间相差很大，会影响分类模型的分类效果，这是因为训练数据可能不能覆盖所有待预测类别，或者某一或某些类别的训练数据的样本数不足以使分类模型将该类别分辨出来。为简单起见，下文中样本数不足的类别也被称为小类，反之则称为大类。一个训练数据集中的训练数据可能覆盖多个小类和多个大类。假如小类样本的数量极少，如仅占总体的1％，则即使小类样本被错误地全部识别为大类样本，在经验风险最小化的策略下分类器识别准确率仍能达到99％，但由于没有学习到小类样本的特征，实际分类效果就会很差。

为了处理类别样本不均衡的问题，目前已经提出了多种方法，例如过采样、欠采样、类别权重、样本权重、focal loss、人工标注等等。然而目前的方法各自都有自身的缺陷，不能在任何情况下都很好地解决类别样本不均衡问题。

因此，存在对现有的小类样本扩充方案进行改进的需求。

发明内容

为了克服上文中所提及的现有技术中存在的至少一个缺陷，本申请的实施例提出用于更新训练数据集的方法、设备及其计算机可读存储介质，以及文本数据分类方法。

根据本申请的一方面，提出一种对训练数据集进行更新的方法，该方法包括：获取初始训练数据集以及未标注数据集，初始训练数据集中的训练数据包括类别标注信息；获取第一扩充数据，该第一扩充数据包括满足预设类别条件的类别标注信息，其中，第一扩充数据通过对初始训练数据集中的训练数据进行数据增强和/或根据预设的关键信息对未标注数据集中的未标注数据进行筛选所得到；根据第一扩充数据和初始训练数据集，对分类模型进行训练，得到训练后的分类模型；用训练后的分类模型预测未标注数据集中待预测数据的类别，将所预测的类别满足预设类别条件并且其数据属性满足预设属性条件的待预测数据确定为第二扩充数据，其中，待预测数据包括未标注数据集中第一扩充数据以外的未标注数据；根据第一扩充数据和/或第二扩充数据，对初始训练数据集进行更新，得到更新后的训练数据集。

根据本申请的另一方面，提出一种分类方法，该方法包括：获取文本数据；通过目标分类模型，对文本数据进行分类，得到分类结果，其中，该目标分类模型基于由如上所述的方法所得的更新后的训练数据集进行训练。