[发明专利]对训练数据集进行更新的方法和设备

权利要求书

1.一种对训练数据集进行更新的方法，该方法包括：

获取初始训练数据集以及未标注数据集，所述初始训练数据集中的训练数据包括类别标注信息；

获取第一扩充数据，所述第一扩充数据包括满足预设类别条件的类别标注信息，其中，所述第一扩充数据通过对所述初始训练数据集中的训练数据进行数据增强和/或根据预设的关键信息对所述未标注数据集中的未标注数据进行筛选所得到；

根据所述第一扩充数据和所述初始训练数据集，对分类模型进行训练，得到训练后的分类模型；

用训练后的分类模型预测所述未标注数据集中待预测数据的类别，将所预测的类别满足所述预设类别条件并且其数据属性满足预设属性条件的待预测数据确定为第二扩充数据，其中，所述待预测数据包括所述未标注数据集中所述第一扩充数据以外的未标注数据；

根据所述第一扩充数据和/或所述第二扩充数据，对所述初始训练数据集进行更新，得到更新后的训练数据集。

2.根据权利要求1所述的方法，其特征在于，以所述未标注数据集中第一扩充数据和第二扩充数据以外的未标注数据构成新的未标注数据集，以更新后的训练数据集作为新的初始训练数据集，回到获取第一扩充数据的步骤，开始对新的初始训练数据集的更新，直至更新的次数达到预设更新次数和/或更新后的训练数据集中其类别满足所述预设类别条件的训练数据的数量达到预设数量条件。

3.根据权利要求1或2所述的方法，其特征在于，在初始训练数据集中，类别满足所述预设类别条件的训练数据的数量小于类别不满足所述预设类别条件的训练数据中的至少一个类别的训练数据的数量。

4.根据权利要求1或2所述的方法，其特征在于，所述数据增强以有监督的和/或无监督的方式进行。

5.根据权利要求1或2所述的方法，其特征在于，在用数据增强方式获得第一扩充数据的情况下，对其类别满足预设类别条件的训练数据进行数据增强以获得第一扩充数据，或者对其类别不满足预设类别条件的训练数据进行数据增强以获得第一扩充数据。

6.根据权利要求1或2所述的方法，其特征在于，在用筛选方式获得第一扩充数据的情况下，将关键信息的数量大于或等于关键信息阈值的未标注数据筛选为所述第一扩充数据。

7.根据权利要求1或2所述的方法，其特征在于，在用数据增强方式以及筛选方式获得第一扩充数据的情况下，顺序地或并行地对训练数据进行数据增强和对未标注数据进行筛选。

8.根据权利要求1或2所述的方法，其特征在于，在获得第二扩充数据的步骤中，所述预设属性条件包括：待预测数据的被预测出的类别的置信度等于或大于预设的置信度阈值，和/或，被确定为第二扩充数据的待预测数据的数量与通过所述分类模型预测的待预测数据的数量的比例不超过预设的比例阈值。

9.根据权利要求8所述的方法，其特征在于，所述比例阈值小于在初始训练数据集中其类别满足所述预设类别条件的训练数据的数量与初始训练数据集中训练数据的总数量的比例。

10.根据权利要求1或2所述的方法，其特征在于，以预设时间期间内的更新数据来更新初始训练数据集和/或未标注数据集。

11.根据权利要求1或2所述的方法，其特征在于，所述训练数据和所述未标注数据包括文本数据，所述关键信息包括关键词。

12.根据权利要求11所述的方法，其特征在于，所述数据增强包括文本数据增强，所述文本数据增强包括回译和/或其它文本数据增强，其中，所述其它文本数据增强包括简单数据增强、基于词向量的相邻词替换、基于掩码语言模型的替换、基于TF-IDF的词替换、混合交叉增强、对抗增强、文本复述、无监督数据增强中的至少一项。