[发明专利]一种电力信息大数据的采集和存储方法

权利要求书

1.一种电力信息大数据的采集和存储方法，其特征在于，所述方法包括数据采集、数据存储管理以及数据分析三个过程；

数据采集的具体步骤如下：

(1)对于电力大数据，首先判断其是结构化数据还是非结构化数据，属于结构化数据，则进入步骤(2)；对于非结构化数据则进入步骤(3)；

(2)对于结构化数据，进一步判断其是否属于交易数据；如果属于交易数据，则进行Sqoop批处理；如果不属于交易数据，则先根据电力数据结构定义统一数据表格式，即列族存储格式方式生产数据；再与经Sqoop批处理后的交易数据共同进入数据转换器，把结构化的数据表抽取到基于Hadoop架构的分布式数据仓库Hive中；

(3)对于非结构化数据，进一步判断其是否属于网页数据；如果属于网页数据，则进行Nutch爬虫抓取；如果不属于网页数据，而是通过下载工具或人工导入获得的其他数据；再与经Nutch爬虫抓取的网页数据共同进入数据转换器，以文档的形式存储到基于Hadoop架构的分布式数据库HBase中；

(4)MapReduce；

MapReduce框架主要用于完成统计编程和数据转换器Etl的抽取计算， MapReduce具有高性能的计算能力，对处理后的数据进行存储分配；

(5)Hadoop HDFS；

Hadoop HDFS(Hadoop Distributed File System,分布式文件系统)为HBase提供了高可靠性的底层存储支持，应用HBase将结构化和非结构化电力数据存储在分布式文件系统HDFS的索引StoreFiles上，以便高速查询；

(6)结束；将所有采集的数据分类，转换后采集和存储完成后，此过程结束；

数据存储管理具体方法如下：

电力交易的结构化和非结构化的大数据经过抽取后，都以文件形式存储在分布式文件系统HDFS中；其中，结构化的大数据存储在分布式数据仓库Hive中，从网络客户端得到的非结构化数据存储在分布式数据库HBase中，以列族为组织形式，一个列族里的所有列成员都将最终存储在同一个HDFS文件中，而不同的列族有着各自对应的HDFS文件；对于结构化的数据来说，以行存储的方式存储在数据库表中，而对于非结构的数据，则以列存储的方式存储数据，在数据预处理过程需要统一数据存储方式，以分布式数据库作为存储的技术基础；

数据统计与分析具体方法如下：

数据统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求；在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

2.根据权利要求1所述的方法，其特征在于：所述步骤(3)中，对于非结构化数据，定义爬虫字段变量格式如下：

其中，各字段变量的解释如下：

#Name：爬虫名称，queue是任务队列，所有的爬虫共用同一个任务队列，从中取出一个任务项进行运行，每个任务项是一个要下载网页的URL；

#Result：是一个队列，将下载的网页中包含的URL放入该队列中；

#Inittime：仅为以后扩展用；

#Downloadway：下载的网页存放路径；

#Configfile：配置文件，存放网页的URL和下载下后的路径；

#Maxnum：每个爬虫的最大下载量，当下载了一定数量的网页后，爬虫生命周期结束。