[发明专利]一种基于HBase的电网设备状态监测数据存储和查询方法及系统

权利要求书

1.一种基于HBase的电网设备状态监测数据存储和查询方 法，其特征在于，包括：

汇聚节点收集状态监测数据，并上传至HDFS主控节点；

HDFS主控节点把接收到的状态监测数据合并生成大文件， 并上传到HDFS；

MapReduce模块读取上传到HDFS中的数据，并根据读取的 数据生成rowkey，根据rowkey构建HBase表；

设置查询条件，HBase根据所述查询条件和rowkey进行查 询。

2.根据权利要求1所述的基于HBase的电网设备状态监测数 据存储和查询方法，其特征在于，将设备编号和采集时间转换为 整型，再采用Z曲线对设备编号和采集时间进行重新编码， z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))，把所述rowkey设计为 rowkey＝设备类型编号+z-order。

3.根据权利要求2所述的基于HBase的电网设备状态监测数 据存储和查询方法，其特征在于，所述查询条件设置为关键字 Q(Q.S，Q.R)查询，其中，Q.S为设备类型集，Q.R为查询 的设备编号范围和采样时间范围，根据所述 z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到 z-order的范围z-rang，根据Q.S和z-rang调用HBase的scan 接口进行查询。

4.根据权利要求3所述的基于HBase的电网设备状态监测数 据存储和查询方法，其特征在于，当汇聚节点接收的缓存数据到 预先设定阈值δ₁时，将缓存中的数据发送至HDFS主控节点， HDFS主控节点按照δ₁大小将接收到的缓冲数据首先存储为本地 文件，待本地文件数量累计达到预先设置的阈值时δ₂，利用 SequenceFile将δ₂个本地文件合并生成规模为(δ₁*δ₂)的大 文件，并启动文件上传至HDFS的流程。

5.根据权利要求4所述的基于HBase的电网设备状态监测数 据存储和查询方法，其特征在于，所述HBase表包括rowkey、时 间戳和列族，列族包括设备类型、设备编号和N个连续采样点数 据三列。

6.根据权利要求5所述的基于HBase的电网设备状态监测数 据存储和查询方法，其特征在于，所述汇聚节点接收状态检测数 据后进行数据清洗，并采用循环缓冲池进行数据缓存。

7.一种实施权利要求1所述方法的系统，其特征在于，包括 汇聚节点、HDFS主控节点、HDFS、HBase和查询客户端，汇聚节 点收集状态监测数据，并上传至HDFS主控节点，HDFS主控节点 把接收到的状态监测数据合并生成大文件，并上传到HDFS，HDFS 中的MapReduce模块读取上传到HDFS中的数据，并根据读取的 数据生成rowkey，根据rowkey构建HBase表，查询客户端用于 设置查询条件和接收查询结果，HBase根据所述查询条件和 rowkey进行查询。

8.根据权利要求7所述系统，其特征在于，所述MapReduce 模块将设备编号和采集时间转换为整型，再采用Z曲线对设备编 号和采集时间进行重新编码，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))， 把所述rowkey设计为rowkey＝设备类型编号+z-order。

9.根据权利要求8所述系统，其特征在于，所述查询条件设 置为关键字Q(Q.S，Q.R)查询，其中，Q.S为设备类型集合， Q.R为查询的设备编号范围和采样时间范围，根据所述 z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到 z-order的范围z-rang，根据Q.S和z-rang调用HBase的scan 接口进行查询。

10.根据权利要求9所述系统，其特征在于，当汇聚节点接 收的缓存数据到预先设定阈值δ₁时，将缓存中的数据发送至 HDFS主控节点，HDFS主控节点按照δ₁大小将接收到的缓冲数据 首先存储为本地文件，待本地文件数量累计达到预先设置的阈值 时δ₂，利用SequenceFile将δ₂个本地文件合并生成规模为(δ ₁*δ₂)的大文件，并启动文件上传至HDFS的流程。