[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本发明涉及一种数据处理方法、装置、计算机设备和存储介质，方法包括：获取本轮的待抽样清洗数据；获取本轮的每个待抽样清洗数据在多个随机树上的路径长度，多个随机树根据本轮或者前至少一轮的待抽样清洗数据训练得到；根据路径长度确定本轮的每个待抽样清洗数据的抽样概率；对抽样概率在预设阈值以上的本轮的待抽样清洗数据进行抽样，得到相应的抽样数据；清洗抽样数据；当不满足清洗结束条件时，将下一轮当作本轮，返回获取本轮的待抽样清洗数据的步骤以继续清洗数据，直至满足清洗结束条件。本申请中的数据处理方法，基于不需要样本标记的训练得到的多个随机树来发现疑似脏数据并清洗，节省了人工标记训练样本的时间，提高了数据清洗效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

大多数据集合中往往包含有脏数据，而大量脏数据的存在往往会对数据的处理结果造成影响(比如，根据数据训练机器学习模型时，大量脏数据影响机器学习模型的准确率)，一般需要对数据集合中的数据进行一定程度的清洗。在对数据清洗的过程中，往往需要从数据集合中发现疑似脏数据，然后对这些发现的疑似脏数据进行清洗。

在传统方法中，是通过人工大量标记样本，对标记的样本进行训练，得到相应的分类器，以根据该分类器来从数据集中发现疑似脏数据。目前，这种根据人工大量标记样本训练分类器发现疑似脏数据的方法，造成人工标记样本的工作量非常大，从而导致数据清洗效率低。

发明内容

基于此，有必要针对目前人工大量标记样本训练分类器发现疑似脏数据导致数据清洗效率低的技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

获取本轮的待抽样清洗数据；

获取本轮的每个所述待抽样清洗数据在多个随机树上的路径长度，所述多个随机树根据本轮或者前至少一轮的待抽样清洗数据训练得到；

根据所述路径长度确定本轮的每个所述待抽样清洗数据的抽样概率；

对抽样概率在预设阈值以上的本轮的所述待抽样清洗数据进行抽样，得到相应的抽样数据；

清洗所述抽样数据；

当不满足清洗结束条件时，将下一轮当作本轮，返回所述获取本轮的待抽样清洗数据的步骤以继续清洗数据，直至满足清洗结束条件。

一种数据处理装置，所述装置包括：

获取模块，用于获取本轮的待抽样清洗数据；以及获取本轮的每个所述待抽样清洗数据在多个随机树上的路径长度，所述多个随机树根据本轮或者前至少一轮的待抽样清洗数据训练得到；

抽样概率确定模块，用于根据所述路径长度确定本轮的每个所述待抽样清洗数据的抽样概率；

抽样模块，用于对抽样概率在预设阈值以上的本轮的所述待抽样清洗数据进行抽样，得到相应的抽样数据；

数据清洗模块，用于清洗所述抽样数据；当不满足清洗结束条件时，将下一轮当作本轮，通知所述获取模块工作，直至满足清洗结束条件。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：

获取本轮的待抽样清洗数据；

获取本轮的每个所述待抽样清洗数据在多个随机树上的路径长度，所述多个随机树根据本轮或者前至少一轮的待抽样清洗数据训练得到；

根据所述路径长度确定本轮的每个所述待抽样清洗数据的抽样概率；

对抽样概率在预设阈值以上的本轮的所述待抽样清洗数据进行抽样，得到相应的抽样数据；