[发明专利]一种基于大数据技术的电力数据分析方法和装置

权利要求书

1.一种基于大数据技术的电力数据分析方法，其特征在于：

通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；

对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；

将指标数据进行发布，根据展示要求从数据库中查询后展示。

2.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述电力数据来源为区域内部电力系统和中调网站发布的电力数据。

3.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述通过多路复杂链路方法采集区域内的电力数据，包括：

设置数据获取配置，数据获取配置的内容包括数据种类、数据请求地址、数据请求地址的协议类型、数据地址加载顺序请求频度表达式；

将所述数据获取配置作为采集配置信息注册到分布式协调器Zookeeper集群中；

从Zookeeper集群中获取采集配置信息，根据采集配置信息中的数据请求地址的协议类型建立不同的采集通道，根据配置中的数据请求地址、请求频度表达式、数据地址加载顺序创建采集任务，将相同的协议类型的采集任务分配到相同的采集通道中运行，采集任务运行并获取到数据后，通过采集通道返回。

4.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述预处理后得到电力原始数据进行存储，存储采用方法为：

实时数据存储采用Redis数据库，非实时数据采用大数据Hadoop和Hbase体系进行存储，大数据存储时将数据索引到Elastic Search中；

对于保存到Redis数据库中的实时数据设置数据的有效期，到期后数据自动清除，如果Redis中的数据被访问，该数据的有效期自动延长。

5.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述对分类后的数据进行定义形成指标数据集合，包括：

根据分类后的数据提炼数据特征；

去重、合并不同分类中的相同含义指标数据；

对数据指标名称进行编码。

6.根据权利要求5所述的一种基于大数据技术的电力数据分析方法，其特征是：所述数据特征包括数据的时间周期、数据所属的主数据、数据的单位、数据的值类型、数据是否计算。

7.根据权利要求5所述的一种基于大数据技术的电力数据分析方法，其特征是：所述对数据指标名称进行编码，方法为：

数据指标的中文首字母加上随机码；

或者由数据种类、周期、流水号三部分共同组成的唯一字符串。

8.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征在于：所述自动归类存储过程为：

在对分类后的数据进行定义形成指标数据集合后，将大数据存储Hbase数据库中访问次数高于设定阈值且查询效率低于设定阈值的数据集放入到Redis集群中，同时存放到ElasticSearch集群中，Redis集群和ElasticSearch集群分别设置在不同的缓存服务器中，数据库之间相互备份。

9.根据权利要求8所述的一种基于大数据技术的电力数据分析方法，其特征在于：根据展示要求从数据库中查询后展示，包括，

根据展示要求需要访问某指标数据时，首先从Redis中进行读取，如果Redis中读取不到，从ElasticSearch中读取，两级缓存任何一个读取到缓存数据即返回进行展示，如果两级缓存均没有读取到缓存数据，从Hbase数据库直接读取。

10.一种基于大数据技术的电力数据分析装置，其特征在于：包括：

获取存储模块，通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；

指标数据集合形成模块，对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；

查询展示模块，将指标数据进行发布，根据展示要求从数据库中查询后展示。