[发明专利]流式处理电表数据的聚合统计方法、装置、设备及介质

说明书

本发明公开了一种流式处理电表数据的聚合统计方法、装置、设备及介质，其中方法包括以下步骤：搭建Nginx集群采集电表数据；将采集的电表数据导入kafka集群中；通过Spark Streaming对kafka集群中的电表数据进行批处理；批处理后利用Spark进行数据清洗和聚合统计；将统计结果存入AWS Redshift中。本发明提高了电力数据处理的效率，使数据更好、更快的展现，具有高强度的容错性和实时性。

技术领域

本发明涉及电力领域，更具体地说是一种流式处理电表数据的聚合统计方法、装置、设备及介质。

背景技术

物联网技术和信息技术的飞速发展导致了信息资源的急剧增长，数据源产生的数据越来越多，处理数据的实时性需求越来越大，而物联网传来的海量电力相关的数据的统计、监测、管理是负荷能效管理系统、能量管理系统，综合能源管理系统等电力系统中不可或缺的部分，主要为摸清能源状态、管住能耗指标、提出节能减排措施等服务，那么实时的、稳定的、直观的统计数据的展现显得尤其重要。

发明内容

本发明的目的在于克服现有技术的不足，提供流式处理电表数据的聚合统计方法、装置、设备及介质。

为实现上述目的，本发明采用以下技术方案：

第一方面，流式处理电表数据的聚合统计方法，所述方法包括：

搭建Nginx集群采集电表数据；

将采集的电表数据导入kafka集群中；

通过Spark Streaming对kafka集群中的电表数据进行批处理；

批处理后利用Spark进行数据清洗和聚合统计；

将统计结果存入AWS Redshift中。

其进一步技术方案为：所述搭建Nginx集群采集电表数据步骤中，所述电表数据分为实时数据和补发数据，所述实时数据和补发数据采用不同的topic区分处理。

其进一步技术方案为：所述通过Spark Streaming对kafka集群中的电表数据进行批处理的步骤，具体包括以下步骤：

初始化创建StreamingContext对象；

以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里；

在间隔时间内对内存中的数据块进行批处理。

其进一步技术方案为：所述以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里的步骤中，所述内存为Spark Executor的内存。

第二方面，流式处理电表数据的聚合统计装置，所述装置包括搭建单元、导入单元、批处理单元、统计单元以及保存单元；

所述搭建单元，用于搭建Nginx集群采集电表数据；

所述导入单元，用于将采集电表数据导入kafka集群中；

所述批处理单元，用于通过Spark Streaming对kafka集群中的电表数据进行批处理；

所述统计单元，用于批处理后利用Spark进行数据清洗和聚合统计；

所述保存单元，用于将统计结果存入AWS Redshift中。

其进一步技术方案为：所述批处理单元包括初始化模块、划分模块以及批处理模块；

所述初始化模块，初始化创建StreamingContext对象；

所述划分模块，用于以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里；