[发明专利]一种电力信息大数据的采集和存储方法

摘要

本发明属于电力信息大数据采集存储领域。涉及一种电力信息大数据采集存储方法，解决电力信息大数据采集和存储过程的问题。所述方法包括数据采集、数据存储管理以及数据分析三个过程。本发明的有益效果在于：本发明提出了一种电力信息大数据的采集存储方法，能够很好的解决由于电力用户基数大，信息量大，业务系统响应速度慢，用户等待耗时长的问题。同时，针对基与电力数据的交易系统产生的海量信息，本方法比传统数据库能更好地完成数据的扩展和分析功能。并且能够采集、存储并处理海量网络媒体数据，更好地了解行业动态，在操作过程中，本方法的存储方法具有高效地查询功能，在数据量激增的同时能够快速完成检索。

主权项

1.一种电力信息大数据的采集和存储方法，其特征在于，所述方法包括数据采集、数据存储管理以及数据分析三个过程；数据采集的具体步骤如下：(1)对于电力大数据，首先判断其是结构化数据还是非结构化数据，属于结构化数据，则进入步骤(2)；对于非结构化数据则进入步骤(3)；(2)对于结构化数据，进一步判断其是否属于交易数据；如果属于交易数据，则进行Sqoop批处理；如果不属于交易数据，则先根据电力数据结构定义统一数据表格式，即列族存储格式方式生产数据；再与经Sqoop批处理后的交易数据共同进入数据转换器，把结构化的数据表抽取到基于Hadoop架构的分布式数据仓库Hive中；(3)对于非结构化数据，进一步判断其是否属于网页数据；如果属于网页数据，则进行Nutch爬虫抓取；如果不属于网页数据，而是通过下载工具或人工导入获得的其他数据；再与经Nutch爬虫抓取的网页数据共同进入数据转换器，以文档的形式存储到基于Hadoop架构的分布式数据库HBase中；(4)MapReduce；MapReduce框架主要用于完成统计编程和数据转换器Etl的抽取计算， MapReduce具有高性能的计算能力，对处理后的数据进行存储分配；(5)Hadoop HDFS；Hadoop HDFS(Hadoop Distributed File System,分布式文件系统)为HBase提供了高可靠性的底层存储支持，应用HBase将结构化和非结构化电力数据存储在分布式文件系统HDFS的索引StoreFiles上，以便高速查询；(6)结束；将所有采集的数据分类，转换后采集和存储完成后，此过程结束；数据存储管理具体方法如下：电力交易的结构化和非结构化的大数据经过抽取后，都以文件形式存储在分布式文件系统HDFS中；其中，结构化的大数据存储在分布式数据仓库Hive中，从网络客户端得到的非结构化数据存储在分布式数据库HBase中，以列族为组织形式，一个列族里的所有列成员都将最终存储在同一个HDFS文件中，而不同的列族有着各自对应的HDFS文件；对于结构化的数据来说，以行存储的方式存储在数据库表中，而对于非结构的数据，则以列存储的方式存储数据，在数据预处理过程需要统一数据存储方式，以分布式数据库作为存储的技术基础；数据统计与分析具体方法如下：数据统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求；在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。