[发明专利]火电厂海量实时生成数据的处理方法及装置

说明书

本发明属于电厂运行数据处理领域，尤其涉及一种火电厂海量实时生成数据的处理方法及装置。在基于键值数据模型火电厂生产过程中产生的海量时间序列数据进行建模和存储的基础上，将时间序列数据按照时间维度进行切片存放至HBase中，同时融入了Spark SQL执行过程对海量时间序列数据进行查询。Spark SQL是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它通过将数据查询转换成Spark RDD，然后提交到集群执行，具有极高的数据查询效率。

技术领域

本发明属于电厂运行数据处理领域，尤其涉及一种火电厂海量实时生成数据的处理方法及装置。

背景技术

时间序列数据是在不同时间上收集到的数据，这类数据是按时间顺序收集到的，用于所描述现象随时间变化的情况。这类数据反映了某一事物、现象等随时间的变化状态或程度。在火力发电等工业生产领域，通过将传感器安装在工业设备和生产环境中，传感器将采集到大量的时间序列数据。火电厂通常设备众多，采集设备状态信息的传感器规模较大，因此，其生产过程中采集到的时间序列数据一般具有采集频率快、数据量大等特点。以火电厂设备领域为例，数百台电厂设备上面可能部署了上万个传感器，传感器每秒钟采集并发送一次数据，那么每秒钟需要处理的时间序列数据有数万个点，每天的数据规模可能在TB级别。

时间序列数据往往具有非常高的潜在价值。相比其他数据类型，时间序列数据多了时间顺序和时间间隔属性。对这些时间序列数据进行分析处理，可以从这些数据挖掘到事物的变化发展规律和未来动向，对做出正确科学的决策具有重大意义。

面对爆发式增长的时间序列数据，高效、可靠的存储及查询检索已经成为了一个重要的挑战。传统关系型数据库及SQL语言为结构化数据提供了安全可靠、快速便捷的查询和存储解决方案。但在应对海量时间序列数据时，传统解决方案将变得极为低效且不可靠。在存储数据时，会因数据写入量过多而系统卡死或出现占用系统资源过多等情况。在查询数据时，会出现数据量较大且实时变化而导致无法撰写有效的SQL语句进行查询，或者SQL语句在查询执行过程中速度过慢。虽然，近年来出现的NoSQL数据库存储方案在一定程度上缓和了海量数据存取的压力，但专门针对时间序列数据的存储方案还不成熟，尤其是针对火电厂这种具有海量时间序列数据的工业生产领域，高效的数据存储和查询方案仍然有迫切需求。例如中国专利申请201811344073.7公开了一种高并发实时历史数据存储系统，包括服务器、显示模块和数据采集模块，显示模块和所有数据采集模块均与服务器通信连接，数据采集模块用以采集智能电厂的实时数据，显示模块用以画面显示，服务器：响应于接收到实时数据，将实时数据写入循环消息队列；定时从循环消息队列中读取热数据，将热数据存入内存数据库；定时从循环消息队列中读取冷数据，将冷数据存入关系数据库。本发明采用循环消息队列、内存数据库和关系数据库相结合的系统架构方式，以缓冲高并发请求，并将热数据放到内存数据库，提高查询性能，将冷数据持久化到关系数据库中，便于以后离线分析，实现了高并发、海量规模数据存储的高可靠性及高可用性。

发明内容

针对现有技术存在的问题，本发明提供了一种准确率高、数据查询效率高的火电厂海量实时生成数据的处理方法，以及利用该方法的装置。

本发明主要包括以下两个模块：

(1)时间序列数据存储模块。由时序数据的采样时间间隔获取时序数据的时间精度，将多个时间序列数据以时间戳以及时间精度聚合为文件切片，以时间精度和时间戳为HBase行键，将文件切片存储至HBase数据库。

(2)时间序列数据查询模块。解析SQL语句，获得查询时序数据的时间范围及对应的执行计划。扫描数据库，定位到若干时序数据切片，再读取时序数据切片的Value，生成Spark RDD。对应Spark RDD进行匹配和过滤操作，获得精简数据集Compact DataFrame。基于所述Compact DataFrame进行SQL计算。