[发明专利]一种数据清洗与质量评价方法及系统

权利要求书

1.一种数据清洗与质量评价方法，其特征在于：包括如下步骤：

(1)基于营销业务系统的用电信息采集系统内的用电数据；

(2)采用机器学习算法对采集的用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；

(3)利用相应的现有规则对构建的数据稀疏矩阵内的数据进行筛选，对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，根据所述影响度评估各项规则的有效性。

2.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

3.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述存在异常用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。

4.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述的各项规则的有效性分析方法为：

用户信息与用电数据稀疏矩阵中的异常信息处理结果为因变量，各项核算规则的出发结果为特征值，应用随机森林算法进行异常结果分类，结合分类结果，计算基尼系数、互信息等指标，评估各项规则对异常信息处理结果的影响度：

将影响度≤5％的规则判断为疑似无效规则，将该规则剔除后构建分类模型，并分析模型的查全率、查准率、f1-score较原模型是否下降，若未降低，确认该规则为无效规则；

将模型评价出来的无效规则逐项剔除，用剩余的规则去排查用户的疑似异常数据，若疑似异常情况中核查的真实异常用户未减少，则确认该规则为无效规则，若减少，则认为该规则为有效规则。

5.一种数据清洗与质量评价系统，其特征在于：

包括数据采集模块，用于根据营销业务系统内的用电信息采集系统内的用电数据；

数据识别分析模块，用于采用机器学习算法对采集的用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；

数据处理模块，用于利用相应的现有规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，根据所述影响度评估各项规则的有效性。

6.根据权利要求5所述的一种数据清洗与质量评价系统，其特征在于：所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

7.根据权利要求5所述的一种海量数据清洗与质量评价系统，其特征在于：所述存在异常用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。