[发明专利]一种基于大数据的电力企业财务数据管理系统

权利要求书

1.一种基于大数据的电力企业财务数据管理系统，其特征在于：该系统总体架构分为五层：数据来源层，数据存储层，大数据并行处理层，大数据并行分析层及数据可视化层；

数据来源层提供内部数据和外部数据，数据存储层对数据进行存储，大数据并行处理层对数据进行分类处理，大数据并行分析层对处理后的数据进行分析并进行行为预测，数据可视化层将所得数据以图表、网络图方式进行分析后数据可视化。

2.根据权利要求1所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：所述数据来源层的内部数据来源于四大数据中心的结构化、半结构化、非结构化数据和财务信息数据；所述数据来源层的外部数据来源于互联网、社交及移动外部数据。

3.根据权利要求1所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：所述数据存储层描述数据存储方法、数据存储格式以及数据并行化存储结构；采用NoSQL数据存储系统，以 Key-Value 数据格式、面向文档方式以及图数据方式进行分布式存储。

4.根据权利要求1所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：所述大数据并行处理层通过 Map Reduce 计算框架来构建电力大数据并行化分析服务体系，基于 Hadoop分布式处理平台，利用此平台对数据进行处理。

5.根据权利要求1所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：所述大数据并行分析层以聚类算法为基础，分成两个阶段，采用 Canopy 算法和基于蚁群的 K-Means 算法和Map Reduce相结合的方法，对处理后的数据进行大数据分析，并利用分析结果对用户行为进行预测。

6.根据权利要求3所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：NoSQL 数据存储系统具有两种架构：Master-Slave 结构和 P2P 环形结构；

Master-Slave 结构基于水平分区实现数据分布，将 master 节点和 slave 节点的功能分开，由 master 节点维护其管理的 slave节点；

P2P 环形结构的系统无中心节点，各节点平等，基于 Hash 分布数据。

7.根据权利要求4所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：所述大数据并行处理层采用基于Hadoop 和 Hive 以及 HBase 的财务数据预处理平台；

在此预处理平台中，实现对数据的清洗、集成和归约，利用噪声处理、数据缺失填补以及对数据属性维度的约简来进行财务大数据的预处理过程；此方法结合 Hadoop 平台，通过增添负责预处理任务的监控和控制节点，该节点维护一个预处理的任务列表，并存储对应的预处理程序和启动规则。

8.根据权利要求7所述的一种基于大数据的电力企业财务数据管理系统，其特征在于：预处理功能集中于存储节点上，由特定的主机承担预处理任务的控制节点，并通过该节点维护预处理系统的运行，预处理程序库的管理；

Hadoop 分布式处理平台的底层利用分布式文件系统HDFS 来存储海量财务结构化数据和非结构化数据，利用 Map Reduce 分布式计算框架实现对海量明细数据的高效处理；

处理之后的结果存储在 HBase中，其中 HDFS 为 HBase 提供了高可靠性的底层存储支持，Map Reduce 为 HBase 提供高性能的计算能力，Hive 为 HBase 提供高层语言支持。