[发明专利]一种用电信息数据质量分析系统

权利要求书

1.一种用电信息数据质量分析系统，其特征在于，所述系统包括数据准备模块、 数据集成模块和数据分析模块；

所述数据准备模块用于采集并存储用电信息数据；

所述数据集成模块基于所述数据准备模块中的所述用电信息数据，建立用于查询及 计算的数据表；

所述数据分析模块根据所述数据集成模块中的所述数据表，计算所述用电信息数据 的指标集，得到所述用电信息数据的有效率。

2.如权利要求1所述的系统，其特征在于，所述数据准备模块包括数据采集单元、 数据交换单元及数据存储单元；

所述数据采集单元用于采集用电信息数据，并将所述用电信息数据存储为关系数据 库形式；

所述数据交换单元用数据交换工具将关系数据库形式的所述用电信息数据导入到 数据存储单元；

所述数据存储单元为分布式存储系统，且所述数据存储单元以文本的形式存储所述 用电信息数据。

3.如权利要求1或2所述的系统，其特征在于，所述用电信息数据包括用电数据 及辅助数据；

所述用电数据包括用电客户信息、电能表信息、计量点信息、实时采集信息及历史 用电量信息，其中，所述实时采集信息包括用电负荷、电压及电流；

所述辅助数据包括分类标准数据及编码标准数据。

4.如权利要求1所述的系统，其特征在于，所述数据集成模块基于所述数据准备 模块中的所述用电信息数据根据Hive建表语句建立Hive数据表、及根据关联关系建立 Hive数据总表。

5.如权利要求4所述的系统，其特征在于，所述Hive数据表包括用电客户Hive 数据表、电能表Hive数据表、计量点Hive数据表、用电负荷Hive数据表、用电电压 Hive数据表、用电电流Hive数据表及历史用电量Hive数据表。

6.如权利要求4所述的系统，其特征在于，所述Hive数据总表包括以用电客户信 息为基础的数据总表、以计量点信息为基础的数据总表及基于HBase的Hive总表；

所述以用电客户信息为基础的数据总表包括电能表信息及计量点信息，且所述以用 电客户信息为基础的数据总表存储至HBase数据表中；

所述以计量点信息为基础的数据总表包括实时采集信息以及历史用电量信息，且所 述以计量点信息为基础的数据总表存储至HBase数据表中，其中，所述实时采集信息 包括用电负荷、电压及电流数据；

所述基于HBase的Hive大表通过Hive建立。

7.如权利要求1所述的系统，其特征在于，计算所述指标集中包括分别计算一致 性指标、完整性指标、准确度指标及有效性指标；

所述用电信息数据的一致性指标及完整性指标均用基于查询统计的质量分析方法 求得；

所述用电信息数据的准确度指标及有效性指标均用基于数据挖掘的质量分析方法 求得。

8.如权利要求7所述的系统，其特征在于，所述用电信息数据的一致性指标及完 整性指标均用基于查询统计的质量分析方法求得包括：

计算所述一致性指标包括构建SQL语句，查询相关联的数据表，得到查询结果并 用公式1计算得到所述用电信息数据的一致率数据；其中，公式1为：一致数据记录数 /总记录数*100％；

计算所述完整性指标包括构建SQL语句，查询已建立的Hive数据总表，通过统计 所述Hive数据总表中自动填充为null的记录数，通过公式2计算得到所述用电信息数 据的完整率，其中，公式2为：(1-null记录数/总记录数据)*100％。

9.如权利要求7所述的系统，其特征在于，所述用电信息数据的准确度指标及有 效性指标均用基于数据挖掘的质量分析方法求得包括：

计算所述准确度指标及所述有效性指标中的指标项为针对用电信息采集中用电客 户的负荷曲线数据、电压曲线数据以及电流曲线数据而设置的指标项，所述基于数据挖 掘的质量分析方法是通过对要验证的所述用电信息数据进行聚类，获得所述用电信息数 据的准确度指标及有效性指标。

10.如权利要求9所述的系统，其特征在于，对要验证的所述用电信息数据进行聚 类，获得所述用电信息数据的准确度指标及有效性指标包括：

计算所述准确度指标包括：用并行化的Kmeans算法对用电客户的曲线数据的曲线 特征进行聚类，从聚类结果中获取曲线变化特征异常的类族，用公式3来计算曲线数据 的准确率；其中，公式3为：(1-变化特征异常的记录数/总记录数)*100％；

计算所述有效性指标包括：用并行化的Kmeans算法对数据取值范围特征进行聚类， 从聚类结果中获取异常值分布情况，用公式4计算得到所述用电信息数据的有效率；其 中，公式4为：(1-异常值记录数/总记录数)*100％。