[发明专利]数据集清洗方法、装置、电子设备和计算机可读介质

说明书

本公开的实施例公开了数据集清洗方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取训练图像样本初始集和验证图像样本集；利用训练图像样本初始集确定初始图像分类模型、初始分类准确度和训练图像样本集；将初始图像分类模型确定为参照图像分类模型，以及将初始分类准确度的值确定为参照分类准确度的值，以及将训练图像样本初始集确定为训练图像样本参照集；利用训练图像样本集进行迭代训练，以及确定目标图像分类模型和目标训练图像样本集。该实施方式可以自动清洗原始图像分类数据集中的脏数据，提高清洗效率和数据集的质量，从而提升图像分类模型的准确度。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及数据集清洗方法、装置、电子设备和计算机可读介质。

背景技术

数据集清洗，是对数据集里的脏数据进行去脏或纠错，以提高数据集质量的一项技术。数据集的质量在很大程度上决定了图像分类模型进行图像分类的准确度。目前，在对含有脏数据的图像分类数据集进行清洗时，通常采用的方式为：通过人工审核去除或者纠正其中的脏数据。

然而，当采用上述方式进行数据集清洗时，经常会存在如下技术问题：

第一，数据集中的数据众多，人工审核会存在漏检、误检的情况，使得数据集中脏数据的比例较大，导致数据集质量较低；

第二，人工审核清洗脏数据的数据集清洗效率低；

第三，直接丢弃数据集中的脏数据，没有对数据集中的脏数据做进一步处理，导致部分虽然为脏数据、但可知其真实类别的数据流失；

第四，直接丢弃不确定的数据，没有对数据集中不确定是否为脏数据的数据做进一步处理，导致部分虽然目前不确定是否为脏数据、但在后续清洗过程中可能确定其真实类别的数据流失。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了数据集清洗方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种数据集清洗方法，该方法包括：获取训练图像样本初始集和验证图像样本集，其中，上述训练图像样本初始集中的训练图像样本包括训练图像和分类标签，上述验证图像样本集中的验证图像样本包括验证图像和分类标签；基于上述训练图像样本初始集确定初始图像分类模型、初始分类准确度和训练图像样本集；将上述初始图像分类模型确定为参照图像分类模型，以及将上述初始分类准确度的值确定为参照分类准确度的值，以及将上述训练图像样本初始集确定为训练图像样本参照集；利用训练图像样本集，执行以下训练步骤：利用训练图像样本集对原始图像分类模型进行训练，得到图像分类模型；确定图像分类模型对上述验证图像样本集的分类准确度；响应于确定分类准确度小于等于参照分类准确度，将参照图像分类模型确定为目标图像分类模型，以及将训练图像样本参照集确定为目标训练图像样本集。

在一些实施例中，所述利用图像分类模型对训练图像样本集进行清洗，还包括：

响应于确定所述目标分类信息包括的分类标签与所述训练图像样本包括的分类标签不相同，且所述目标分类信息包括的分类概率大于等于设定的第一阈值，将所述训练图像样本包括的分类标签更新为所述目标分类信息包括的分类标签，以及将更新后的训练图像样本作为清洗训练图像样本加入清洗训练图像样本集，其中，所述第一阈值大于等于0.8。

在一些实施例中，所述利用图像分类模型对训练图像样本集进行清洗，还包括：