[发明专利]数据清洗方法、装置、设备以及存储介质

说明书

本申请实施例公开了数据清洗方法、装置、设备以及存储介质，涉及人工智能、深度学习和图像处理技术领域。该方法的一具体实施方式包括：获取目标任务的训练数据集；构建脏数据的搜索空间；在搜索空间中搜索脏数据样本；从搜索空间和训练数据集中删除脏数据样本。该实施方式通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。

技术领域

本申请实施例涉及计算机技术领域，具体涉及人工智能、深度学习和图像处理技术领域，尤其涉及数据清洗方法、装置、设备以及存储介质。

背景技术

深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，训练数据对模型的性能和效果有着非常重要的影响。通常，深度神经网络的训练过程中的训练数据会影响模型的收敛速度和精度。而训练数据集中通常会存在一些低质量的训练数据，即脏数据样本。脏数据样本不仅会影响模型的精度，还会影响模型的最终阈值。为了对脏数据样本的错误标注达到区分能力，往往会产生极端的阈值，从而严重影响模型的性能。因此，对于存在脏数据样本的训练数据集，通常需要花费高昂的成本来对训练数据集进行人工清洗。

发明内容

本申请实施例提出了数据清洗方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种数据清洗方法，包括：获取目标任务的训练数据集；构建脏数据的搜索空间；在搜索空间中搜索脏数据样本；从搜索空间和训练数据集中删除脏数据样本。

第二方面，本申请实施例提出了一种数据清洗装置，包括：获取模块，被配置成获取目标任务的训练数据集；构建模块，被配置成构建脏数据的搜索空间；搜索模块，被配置成在搜索空间中搜索脏数据样本；删除模块，被配置成从搜索空间和训练数据集中删除脏数据样本。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

本申请实施例提供的数据清洗方法、装置、设备以及存储介质，首先获取目标任务的训练数据集；之后构建脏数据的搜索空间；然后在搜索空间中搜索脏数据样本；最后从搜索空间和训练数据集中删除脏数据样本。通过自动搜索的方式清洗训练数据，降低了清洗训练数据的成本。此外，在训练数据集是图像集的情况下，该方法还可以应用于图像处理技术领域，通过自动搜索的方式对图像集进行清洗，以过滤噪声较大的图像。进一步地，利用清洗后的图像集训练模型，能够提升模型的效果。

从搜索空间中搜索脏数据样本，能够快速地确定出训练数据集中较可能的脏数据样本。无需对训练数据集中的所有训练数据集进行评估，使得执行该方法的硬件减少了在数据清洗过程中的运算量，提高了硬件的处理速度。进而，降低了数据清洗对硬件环境的要求，使得该方法能够适配于更低的硬件配置的任务执行端设备，并且能够确保数据清洗的精准度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的数据清洗方法的一个实施例的流程图；

图3是根据本申请的数据清洗方法的又一个实施例的流程图；