[发明专利]火电厂海量实时生成数据的处理方法及装置

权利要求书

1.一种火电厂海量实时生成数据的处理方法，其特征在于：包括存储步骤：

步骤S1：获取传感器采集到的原始时间序列数据，一条原始时间序列数据记录至少包括属性值为：设备编号、传感器编号、采样时间、接收时间和测量值；

步骤S2:根据采样时间，将采用时间相同、时间间隔较小的多个时间序列数据聚合为数据切片，划分至相(对)应的时间分区；

步骤S3：将上述原始时间序列数据的多条属性值与时间分区信息进行组合，生成目标时序数据，该目标时序数据至少包括以下属性值：时间分区、设备编号、传感器编号、采样时间和传感器采集到的测量值；

步骤S4：以设备编号、传感器编号和时间分区信息作为一级索引，以采样时间作为二级索引，将目标时序数据存入HBase数据库中。

2.如权利要求1所述的火电厂海量实时生成数据的处理方法，其特征在于，所述的步骤S2中，数据切片的大小，一个键值在100KB至10MB。

3.如权利要求1或2所述的火电厂海量实时生成数据的处理方法，其特征在于，所述的数据切片进行处理时，当数据切片较大时，将数据切片作进一步切分；若所述数据切片的大小大于预设字节长度，则对所述数据切片作进一步切分，生成多个子切片；若所述数据切片的大小小于等于预设字节长度，则将所述数据切片对应的切片号设置为零；以时间精度、时间戳和子切片的切片号为行键，将所述多个子切片存储至HBase数据库中。

4.如权利要求1所述的火电厂海量实时生成数据的处理方法，其特征在于，还包括查询步骤：

步骤S11：解析SQL语句，获得查询时间序列数据的时间范围及对应的执行计划；

步骤S12：根据得到的时间范围，扫描HBase数据库，定位到若干时序数据切片，并读取各所述时序数据切片的值，利用newHadoopApi以Key-Value的形式读取各所述时序数据切片的Value，生成Spark RDD；

步骤S13：根据上述执行计划对上述Spark RDD进行匹配和过滤操作，去掉冗余数据，获得与查询执行计划一致的精简数据集Compact DataFrame；

步骤S14：基于所述Compact DataFrame进行SQL计算，构造完成Compact DataFrame后，再用Spark SQL处理逻辑，利用Compact DataFrame进行SQL计算得到处理结果。

5.如权利要求1所述的火电厂海量实时生成数据的处理装置，其特征在于，包括

传感器，设置于火电厂生产运行各环节的设备，采集各个设备的运行参数；

服务器，运行上述处理方法；

I/O单元，进行手动输入、调整和显示输出。

6.如权利要求5所述的火电厂海量实时生成数据的处理方法，其特征在于，所述的服务器为云计算服务器。