[发明专利]基于动态渐进式采样的数据分类清洗系统及清洗方法

权利要求书

1.一种基于动态渐进式采样的数据分类清洗系统，其特征在于，包括：

标签样图放置模块，用于提供给用户将带有标签的标签样图放置到样本数据集中的每一类数据子集中，每一张标签样图对应表示一种数据类别；

迭代模型训练模块，连接所述标签样图放置模块，用于以放置的各所述标签样图形成的标签数据集L作为训练样本，初始训练形成一数据分类清洗模型；

数据伪标签生成模块连接所述迭代模型训练模块，用于将待清洗的数据集输入到所述数据分类清洗模型中，通过所述数据分类清洗模型预测所述数据集中的未标记数据的数据类型，并对预测得到的各所述未标记数据进行伪标记，得到一伪标记数据集；

数据筛选模块，连接所述数据伪标签生成模块，用于对所述伪标记数据集进行数据筛选，得到伪标签候选者集合S；

所述迭代模型训练模块还连接所述数据筛选模块，所述迭代模型训练模块还用于以所述伪标签候选者集合S和所述标签数据集L形成的扩展训练数据集D为训练样本，迭代训练所述数据分类清洗模型；

所述数据伪标签生成模块基于迭代训练而得的所述数据分类清洗模型对所述数据集进行进一步的数据清洗，直至完成对所述数据集的分类清洗过程。

2.如权利要求1所述的数据分类清洗系统，其特征在于，还包括：

索引数据标记模块，连接所述数据伪标签生成模块，用于在所述数据伪标签生成模块完成对所述数据集中的各所述未标记数据的伪标记后，将所述数据集中剩余的各所述未标记数据标记为索引标签数据；

所述索引数据标记模块还连接所述迭代模型训练模块，所述迭代模型训练模块用于以所述扩展训练数据集D和各所述索引标签数据为训练样本，迭代训练更新所述数据分类清洗模型；

所述数据伪标签生成模块根据迭代更新的数据分类清洗模型对数据集进行数据分类清洗，直至完成对所述数据集中的所有数据的数据分类清洗过程。

3.一种基于动态渐进式采样的数据分类清洗方法，通过应用权1所述的数据分类清洗系统实现，其特征在于，包括如下步骤：

步骤S1，所述数据分类清洗系统获取所述标签样图，并将所获取的每一张所述标签样图对应放置到所述样本数据集的每一类所述数据子集中；

步骤S2，所述数据分类清洗系统以各所述标签样图形成的标签数据集L为训练样本，初始训练形成所述数据分类清洗模型；

步骤S3，所述数据分类清洗系统将待清洗的所述数据集输入到所述数据分类清洗模型中，通过所述数据分类清洗模型预测所述数据集中的各所述未标记数据的数据类型，并对预测得到的各所述未标记数据进行伪标记，得到一伪标记数据集；

步骤S4，所述数据分类清洗系统对所述伪标记数据集中的数据进行数据筛选，得到一伪标签候选者集合S；

步骤S5，所述数据分类清洗系统以所述伪标签候选者集合S和所述标签数据集L形成的扩展训练数据集D为训练样本，迭代训练所述数据分类清洗模型；

步骤S6，所述数据分类清洗系统基于迭代训练而得的所述数据分类清洗模型继续对所述数据集进行数据分类清洗，直至完成对数据的分类清洗过程。

4.一种基于动态渐进式采样的数据分类清洗方法，通过应用权2所述的数据分类清洗系统实现，其特征在于，包括如下步骤：

步骤L1，所述数据分类清洗系统获取所述标签样图，并将所获取的每一张所述标签样图对应放置到所述样本数据集的每一类所述数据子集中；

步骤L2，所述数据分类清洗系统以各所述标签样图形成的标签数据集L为训练样本，初始训练形成所述数据分类清洗模型；

步骤L3，所述数据分类清洗系统将待清洗的所述数据集输入到所述数据分类清洗模型中，通过所述数据分类清洗模型预测所述数据集中的各所述未标记数据的数据类型，并对预测得到的各所述未标记数据进行伪标记，得到一伪标记数据集；

步骤L4，所述数据分类清洗系统对所述伪标记数据集进行数据筛选，得到一伪标签候选者集合S；

步骤L5，所述数据分类清洗系统以所述伪标签候选者集合S和所述标签数据集L形成的扩展训练数据集D为训练样本，迭代训练所述数据分类清洗模型；

步骤L6，所述数据分类清洗系统在完成对所述数据集中的各所述未标记数据的伪标记后，将所述数据集中剩余的各所述未标记数据标记为索引标签数据；

步骤L7，所述数据分类清洗系统以所述扩展训练数据集D和各所述索引标签数据为训练样本，迭代训练更新所述数据分类清洗模型；

步骤L8，所述数据分类清洗系统基于迭代训练而得的所述数据分类清洗模型继续对所述数据集进行数据清洗，直至完成对所有数据的分类清洗过程。