[发明专利]一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统

权利要求书

1.一种基于主题实例的电力海量数据存储和查询统计分析系统，其特征在于，该系统采用监测终端传感器(S200)通过消息队列集群(S201)分别与WebSocket数据推送平台(S203)、Jstorm实时数据处理平台(S202)连接，WebSocket数据推送平台(S203)与前端数据展示系统(S207)连接；Jstorm实时数据处理平台(S202)与数据仓库(S204)连接,数据仓库(S204)分别通过统计分析引擎(S205)、实时数据查询引擎(S206)与前端数据展示系统(S207)连接。

2.根据权利要求1所述的一种基于主题实例的电力海量数据存储和查询统计分析方法，其特征在于，步骤为：

步骤200 监测终端传感器发送数据到消息队列服务器集群；

步骤S201 消息队列服务器接收到数据；

步骤202 消息队列服务器接收到数据以后，一方面通过WebSocket数据推送将数据实时推送至系统前端实现数据实时可视化监控；

步骤203 另一方面将数据推送到Jstorm实时数据分析处理平台进行数据清洗；

步骤204 加工之后存入数据仓库；

步骤205 组合查询条件实时查询引擎；

步骤206 聚合统计分析引擎；

步骤207 系统前端展示平台通过组合查询条件实时查询引擎，能够快速访问数据仓库中的数据，或者通过聚合统计分析引擎对数据仓库中的数据进行统计分析。

3.根据权利要求2所述的一种基于主题实例的电力海量数据存储和查询统计分析方法，其特征在于，基于主题实例的电力海量数据存储是采用将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中。

4.根据权利要求2或3所述的一种基于主题实例的电力海量数据存储和查询统计分析方法，其特征在于，监测终端传感器监测将一组监测数据发送回来的时候就根据监测终端监测属性以及设备台账实例化一个实例，通过MD5加密设备ID取前两位+主题实例ID+(Long.Max_Value-timestamp)作为HBase存储数据的行健RowKey，建立一个列族f1,以电网运行时的监测属性作为列，将电网运行时的监测数据存储在HBase列式数据表中。

5.根据权利要求3或4所述的一种基于主题实例的电力海量数据存储和查询统计分析方法，其特征在于，所述HBase表包括行健、时间戳和列族，列族包括监测主题对应的所有监测属性。

6.根据权利要求1或2所述的一种基于主题实例的电力海量数据存储和查询统计分析方法，其特征在于，统计分析引擎在接收到系统前端或者客户端发送过来的请求是提取查询参数，根据所述主题实例ID，监测属性ID以及HBase行健生成规则生成行健查询范围，以及列族，版本号和列信息；根据所述过滤查询字段以及协处理器聚合方式创建对应的过滤器；调用HBase的数据访问接口，从与所述表名对应的表内查找所述行健查询范围或者行健以及监测属性ID，利用所述聚合函数对对应的行健查询范围内的数据进行聚合统计；将所述过滤器过滤后的聚合统计结果返回给客户端。