[发明专利]数据清洗方法、装置、终端及存储介质

说明书

本发明适用于数据处理技术领域，提供了一种数据清洗方法、装置、终端及存储介质，该方法包括：获取待清洗的数据，利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级；针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式；基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据。本发明采用K均值聚类算法对待清洗数据进行分类，可有效判断出相应的报警等级，以便提升待清洗数据的清洗效率以及清洗效果。

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据清洗方法、装置、终端及存储介质。

背景技术

随着信息化的进展，企业内部积累了大量的电子数据，这些数据对企业非常重要。但由于各种原因，导致企业现有系统数据库中存在重复的记录、错误的数据、不完整的数据等脏数据。这些脏数据会扭曲从数据中获得的信息，影响信息系统的运行效果，也为企业构建数据仓库、建立决策支持系统、应用商务智能化带来隐患。因此，需要提高信息系统的数据质量，数据清理变得很重要。

目前，一般采用分箱法对数据进行清洗。分箱法是将需要清洗的数据根据一定的规则放进箱子里，然后进行测试每一个箱子里的数据，并根据数据中的各个箱子的实际情况采取对应的方法进行清洗。

但是，上述的数据清理方法存在清洗效果差的问题。

发明内容

有鉴于此，本发明实施例提供了一种数据清洗方法、装置、终端及存储介质，以解决现有技术中清洗效果差的问题。

本发明实施例的第一方面提供了一种数据清洗方法，包括：

获取待清洗的数据；

利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级；

针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式；

基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据。

在一种可能的实现方式中，所述利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级，包括：

获取k个初始质心向量；

计算所述待清洗的数据与所述k个初始质心向量之间的距离，确定所述待清洗的数据对应的最小距离；

选取所述待清洗的数据对应的最小距离对应的报警等级，作为所述待清洗的数据的报警等级。

在一种可能的实现方式中，所述报警等级包括：一级报警、二级报警和三级报警；所述清洗方式包括：一次清洗、二次清洗和三次清洗；

所述针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式，包括：

在所述待清洗数据的报警等级为一级报警的情况下，所述待清洗数据的清洗方式为一次清洗；

在所述待清洗数据的报警等级为二级报警的情况下，所述待清洗数据的清洗方式为二次清洗；

在所述待清洗数据的报警等级为三级报警的情况下，所述待清洗数据的清洗方式为三次清洗。

在一种可能的实现方式中，所述一次清洗为异常数据清洗；所述异常数据清洗包括空值数据清洗、重复数据清洗和噪音数据清洗；

所述基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据，包括：

获取第一预设阈值和第一基准值；

基于所述第一预设阈值和所述第一基准值，对所述待清洗数据进行空值数据清洗、重复数据清洗和噪音数据清洗，得到清洗后的数据。

在一种可能的实现方式中，所述二次清洗为连续高数据清洗；