[发明专利]一种数据清洗与质量评价方法及系统

说明书

本发明涉及一种数据清洗与质量评价方法，包括如下步骤：(1)基于营销业务系统的用电信息采集系统内海量的用电数据；(2)采用机器学习算法对采集的海量用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；(3)利用相应的规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，以此来评估各项规则的有效性。本发明通过用电采集数据和营销业务数据，从运行时间、终端应用等方面开展大数据分析，以效果评估及优化实现闭环改进，为业务系统实用化评价提供辅助支撑。

技术领域

本发明属于电能采集大数据治理领域，特别是一种数据清洗与质量评价方法及系统。

背景技术

2014年底全国网覆盖的用电信息采集系统，已实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，可及时、完整、准确地为有关系统进行高级分析和辅助决策研究提供基础数据，为实现电能表智能双向互动提供了坚实的信息基础。

当前低压台区数目庞大、建设情况参差不齐的现状使得台区在提升管理水平的过程中面临诸多亟待解决的问题，主要体现在以下4个方面：

(1)受供能侧与用能侧双重影响，缺乏对低压台区智能电能表实际运行状态的科学全面评估手段；

(2)配网结构、用户用电行为、线损等实际因素对低压台区运行状态的影响难以实现实验室物理复现分析；

(3)低压台区智能电能表的运行误差检定精细化程度不够，检定效率低下，检定成本偏高；

(4)低压台区智能电能表的运维派单主要依赖于人工，存在运维资源与运维需求间的矛盾。

发明内容

本发明的目的在于克服现有技术的不足，提供一种数据清洗与质量评价方法及系统。

本发明解决其技术问题是采取以下技术方案实现的：

一种数据清洗与质量评价方法，包括如下步骤：

(1)基于营销业务系统的用电信息采集系统内海量的用电数据；

(2)采用机器学习算法对采集的海量用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵，所述的数据稀疏矩阵内包含了异常用户信息、异常规则触发情况信息以及异常处理结果信息三部分；

(3)利用相应的现有规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，以此来评估各项规则的有效性。

而且，所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

而且，所述存在异常的用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。

而且，所述的各项规则的有效性分析方法为：

用户信息与用电数据稀疏矩阵中的异常信息处理结果为因变量，各项核算规则的出发结果为特征值，应用随机森林算法构建用电异常分类模型，并根据分类模型的基尼系数、互信息指标评估各项规则对异常信息处理结果的影响度：

将影响度≤5％的规则判断为疑似无效规则，将该规则剔除后再进一步构建分类模型，并分析模型的查全率、查准率、f1-score较原模型是否下降，若未降低，确认该规则为无效规则；

将模型评价出来的无效规则逐项剔除，用剩余的规则去排查用户的疑似异常数据，若疑似异常情况中核查的真实异常用户未减少，则确认该规则为无效规则，若减少，则认为该规则为有效规则。

本发明的优点和积极效果是：