[发明专利]一种用电信息数据质量分析系统

说明书

技术领域

本发明涉及数据质量及大数据领域，具体涉及一种用电信息数据质量分析系统。

背景技术

用电信息采集数据质量分析方法基于Hadoop的大数据分析平台，充分利用HDFS 分布式存储、Hive数据库、Hbase数据仓库、Spark内存计算框架等先进技术，结合数 据挖掘算法和R语言并行化计算平台，完成海量用电信息采集数据的质量分析工作。

Hadoop作为著名开源组织Apache旗下专注于分布式存储和计算的开源项目，越来 越收到重视，它可以大规模集中处理和分析展现数据系统式,统筹规划庞大的数据，实 现海量数据的高效处理，现在广泛应用于分布式存储、网页搜索、日志分析、广告计算、 分布式计算、数据挖掘等领域。

HDFS(Hadoop分布式文件系统)为分布式计算存储提供底层支持。HDFS提供 了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS已经在各种大型在线服 务和大型存储系统中得到广泛应用，已经成为海量数据存储的事实标准。HDFS能够通 过将数据分解为数据块，并将数据块散布于大量工作节点中，实现容错和高性能。HDFS 集群是由单独的Namenode联合若干的Datanode组成。HDFS采用master/slave架构。 Namenode维护整个系统的文件系统。Datanode每个系统集群单独配置，处理节点上的 系统存储单元。在内部，一个文件以block进行划分，每个Datanode集合管理若干个 block。

Spark计算框架。Spark是UCBerkeleyAMPlab所开源的类似MapReduce的通用的 并行计算框架，Spark基于MapReduce算法实现的分布式计算，拥有HadoopMapReduce 所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从 而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce的算法。

R是一个包含数据处理、统计分析功能和图形可视化的集成统计分析软件系统，是 由RossIhaka和RobertGentleman共同创立。R语言可以看作是由AT&T贝尔实验室所 创的S语言发展出的一种方言。因此，R即是一种软件也可以说是一种语言，具有自由、 免费、开源的特点，包含优秀的统计分析功能和强大的统计制图功能，它简单明了的命 令参数让用户易于理解操作，同时可编程的函数语言环境也为需要个性化定义的用户提 供了极大便利。

SparkR是AMPLab发布的一个R开发包，为ApacheSpark提供了轻量的前端。 SparkR提供了Spark中弹性分布式数据集(RDD)的API，利用这些API，用户可以在 集群上通过Rshell交互性的运行job。

Kmeans是基于距离的典型聚类算法，采用距离作为相似性的评价指标，其原理是 以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。 Kmeans算法的处理过程如下：首先，随机地选择k个对象，每个对象初始地代表了一 个簇的平均值或中心。对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的 簇。然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。

因此，亟需设计一种基于Hadoop、Spark计算框架和R语言的用电信息采集数据 质量分析系统。

发明内容

有鉴于此，本发明提供的一种用电信息数据质量分析系统，该系统实现了基于 Hadoop、Spark计算框架和R语言的用电信息采集数据质量分析，提高了对用电信息采 集数据质量分析的效果，同时也利用大数据技术实现了对海量用电信息采集数据质量分 析的支持，大大提高了对海量用电信息采集数据质量分析的效率和速度；以快速高效的 方式实现海量用电信息采集数据的准备工作；简化了数据挖掘的流程，很大程度地提高 了数据挖掘的速度和效率。

本发明的目的是通过以下技术方案实现的：

一种用电信息数据质量分析系统，所述系统包括数据准备模块、数据集成模块和数 据分析模块；

所述数据准备模块用于采集并存储用电信息数据；

所述数据集成模块基于所述数据准备模块中的所述用电信息数据，建立用于查询及 计算的数据表；