[发明专利]数据清洗方法、装置、终端及存储介质

权利要求书

1.一种数据清洗方法，其特征在于，包括：

获取待清洗的数据；

利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级；

针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式；

基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据。

2.如权利要求1所述的数据清洗方法，其特征在于，所述利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级，包括：

获取k个初始质心向量；

计算所述待清洗的数据与所述k个初始质心向量之间的距离，确定所述待清洗的数据对应的最小距离；

选取所述待清洗的数据对应的最小距离对应的报警等级，作为所述待清洗的数据的报警等级。

3.如权利要求1所述的数据清洗方法，其特征在于，所述报警等级包括：一级报警、二级报警和三级报警；所述清洗方式包括：一次清洗、二次清洗和三次清洗；

所述针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式，包括：

在所述待清洗数据的报警等级为一级报警的情况下，所述待清洗数据的清洗方式为一次清洗；

在所述待清洗数据的报警等级为二级报警的情况下，所述待清洗数据的清洗方式为二次清洗；

在所述待清洗数据的报警等级为三级报警的情况下，所述待清洗数据的清洗方式为三次清洗。

4.如权利要求3所述的数据清洗方法，其特征在于，所述一次清洗为异常数据清洗；所述异常数据清洗包括空值数据清洗、重复数据清洗和噪音数据清洗；

所述基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据，包括：

获取第一预设阈值和第一基准值；

基于所述第一预设阈值和所述第一基准值，对所述待清洗数据进行空值数据清洗、重复数据清洗和噪音数据清洗，得到清洗后的数据。

5.如权利要求3所述的数据清洗方法，其特征在于，所述二次清洗为连续高数据清洗；

所述基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据，包括：

获取第二预设阈值和第二基准值；

基于所述第二预设阈值和所述第二基准值，对所述待清洗数据进行连续高数据清洗，得到清洗后的数据。

6.如权利要求3所述的数据清洗方法，其特征在于，所述三次清洗为超均值数据清洗；

所述基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据，包括：

获取第三预设阈值和第三基准值；

基于所述第三预设阈值和所述第三基准值，对所述待清洗数据进行超均值数据清洗，得到清洗后的数据。

7.一种数据清洗装置，其特征在于，所述装置包括：

数据获取模块，用于获取待清洗的数据；

数据分类模块，用于利用K均值聚类算法对所述待清洗的数据进行分类，得到所述待清洗数据的报警等级；

清洗方式确定模块，用于针对所述待清洗数据的报警等级，确定所述待清洗数据的报警等级对应的清洗方式；

数据清洗模块，用于基于所述清洗方式对所述待清洗数据进行清洗，得到清洗后的数据。

8.如权利要求7所述的数据清洗装置，其特征在于，所述数据分类模块，包括：

质心向量获取子模块，用于获取k个初始质心向量；

最小距离确定子模块，用于计算所述待清洗的数据与所述k个初始质心向量之间的距离，确定所述待清洗的数据对应的最小距离；

报警等级选取子模块，用于选取所述待清洗的数据对应的最小距离对应的报警等级，作为所述待清洗的数据的报警等级。

9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据清洗方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据清洗方法的步骤。