[发明专利]一种基于HBase的电网设备状态监测数据存储和查询方法及系统

说明书

技术领域

本发明属于电力系统网络化监控及信息处理技术领域，尤其 涉及一种基于HBase的电网设备状态监测数据存储和查询方法及 系统。

背景技术

现代电网要求可靠、安全、经济、高效运行，这需要对组成 电网的主要设备的健康状况进行在线监测、数据搜集和评估。监 测数据以“数据点”(单个设备的一个属性)为单位，描述一项 数据指标，形成时间序列数据。由于电网设备数量大，采样率 高，监测数据规模呈现海量。现有电网设备状态监测主站系统普 遍采用企业级关系数据库进行数据的集中存储。由于关系型数据 库以及所采用的按行存储模式主要被设计为支持数据记录和事务 处理(OLTP)，能够进行多条件的查询，但支持的数据量规模 小，不能满足电网状态监测数据的海量存储需求；另外，当存储 的数据量较大时，数据装载以及查询时性能下降明显，不能很好 的适应状态监测大数据的准实时处理应用需求。目前，只有少量 的监测数据上传到主站系统，大量可能隐含重大价值的数据被丢 弃，造成数据的极大浪费。

另外，状态监测数据也可以直接以文本文件的形式存储，并 保存到磁盘阵列中，这种方式只适合对数据进行存储备份，查询 功能只能在应用软件层上实现，实现复杂、功能不稳定，系统代 价大，更不易实现多条件复杂查询。

Hadoop云计算平台具备可靠性高、数据存储量大、数据并行 处理等优势，目前成为信息技术领域的研究热点。广泛应用于生 物信息处理、搜索引擎、文本分类等领域。Hadoop提供了一个分 布式的数据库系统HBase，是建立在HDFS之上，提供高可靠性、 高性能、列存储、可伸缩、实时读写的数据库系统，这为实现海 量电网设备状态监测数据的存储和快速查询提供了新的技术支 持。但是HBase介于nosql和RDBMS之间，仅能通过主键(row  key)和主键的range来检索数据，仅支持单行事务。用户在使用 电网设备状态监测系统时，通常需要利用多个条件对监测数据进 行综合查询。因此要应用HBase进行电网设备状态监测数据的存 储，需要对其逻辑存储模式进行有效的设计。

电网设备状态监测数据的格式可描述如下表一：

表一

状态监测数据的查询条件包括：1)按照设备类型和设备 编号查询；2)按照采集时间查询；3)同时按照设备类型、设备 编号和采集时间进行查询。HBase按照rowkey字典序来存放数 据，并提供了3种访问数据的方式：1)根据单个rowkey调用 get接口访问；2)根据rowkey范围调用scan接口访问；3) 全表扫描。由于HBase的上述访问接口远不及关系数据库提供 的SQL语言的功能，为支持上述查询需求，需要设计状态监测 数据在HBase中有效的逻辑存储模式和查询方法。

发明内容

本发明针对输变电设备状态监测系统中的查询需求，基于 HBase提出了一种新的电网设备状态监测数据存储和查询方法， 以支持海量状态监测数据的可靠存储和快速的多条件查询。

为了实现上述目的，本发明提出的基于HBase的电网设备状 态监测数据存储和查询方法，其特征在于，包括：汇聚节点收集 状态监测数据，并上传至HDFS主控节点；HDFS主控节点把接收 到的状态监测数据合并生成大文件，并上传到HDFS；MapReduce 模块读取上传到HDFS中的数据，并根据读取的数据生成 rowkey，根据rowkey构建HBase表；设置查询条件，HBase根据 所述查询条件和rowkey进行查询。

一种实施上述方法的系统，其特征在于，包括汇聚节点、 HDFS主控节点、HDFS、HBase和查询客户端，汇聚节点收集状态 监测数据，并上传至HDFS主控节点，HDFS主控节点把接收到的 状态监测数据合并生成大文件，并上传到HDFS，HDFS中的 MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生 成rowkey，根据rowkey构建HBase表，查询客户端用于设置查 询条件和接收查询结果，HBase根据所述查询条件和rowkey进行 查询。

本发明将电网设备状态监测数据与HBase、HDFS相结合，构 建了基于HBase的电网设备状态监测数据存储和查询方法及系 统，支持海量数据的可靠存储和快速查询，通过对rowkey的优 化设计，实现多条件快速查询。