[发明专利]流式处理电表数据的聚合统计方法、装置、设备及介质

权利要求书

1.流式处理电表数据的聚合统计方法，其特征在于，所述方法包括：

搭建Nginx集群采集电表数据；

将采集的电表数据导入kafka集群中；

通过Spark Streaming对kafka集群中的电表数据进行批处理；

批处理后利用Spark进行数据清洗和聚合统计；

将统计结果存入AWS Redshift中。

2.根据权利要求1所述的流式处理电表数据的聚合统计方法，其特征在于，所述搭建Nginx集群采集电表数据步骤中，所述电表数据分为实时数据和补发数据，所述实时数据和补发数据采用不同的topic区分处理。

3.根据权利要求1所述的流式处理电表数据的聚合统计方法，其特征在于，所述通过Spark Streaming对kafka集群中的电表数据进行批处理的步骤，具体包括以下步骤：

初始化创建StreamingContext对象；

以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里；

在间隔时间内对内存中的数据块进行批处理。

4.根据权利要求3所述的流式处理电表数据的聚合统计方法，其特征在于，所述以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里的步骤中，所述内存为Spark Executor的内存。

5.流式处理电表数据的聚合统计装置，其特征在于，所述装置包括搭建单元、导入单元、批处理单元、统计单元以及保存单元；

所述搭建单元，用于搭建Nginx集群采集电表数据；

所述导入单元，用于将采集电表数据导入kafka集群中；

所述批处理单元，用于通过Spark Streaming对kafka集群中的电表数据进行批处理；

所述统计单元，用于批处理后利用Spark进行数据清洗和聚合统计；

所述保存单元，用于将统计结果存入AWS Redshift中。

6.根据权利要求5所述的流式处理电表数据的聚合统计装置，其特征在于，所述批处理单元包括初始化模块、划分模块以及批处理模块；

所述初始化模块，初始化创建StreamingContext对象；

所述划分模块，用于以Receiver方式和kakfa集群进行整合并将电表数据分成多个数据块存放在内存里；

所述批处理模块，用于在间隔时间内对内存中的数据块进行批处理。

7.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任意一项所述的流式处理电表数据的聚合统计方法步骤。

8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如权利要求1～4任意一项所述的流式处理电表数据的聚合统计方法步骤。