[发明专利]基于Spark Streaming实时检测锅炉壁温超限报警的方法

权利要求书

1.一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，其特征在于，包括以下步骤：

步骤1、在分布式流媒体平台Kafka中创建“锅炉壁温超限”主题；

步骤2、从分布式流媒体平台Kafka中订阅“锅炉壁温超限”主题，构建StreamingContext上下文环境，实列化针对这个主题的接收器线程数据的映射表；

步骤3、按批次间隔读取数据,形成的一个持续RDD序列，即离散化流也就是DStream；

步骤4、通过转化操作过滤出锅炉壁温超限的测点形成一个新的持续RDD序列即新的DStream；

步骤5、定义状态检测点，开启Checkpoint机制，通过有状态的行动操作整合多个批次的结果形成一个含时长和步长窗口，对每个窗口更高效地进行归约操作统计出测点超限结果；

步骤6、根据最后窗口实时统计结果，进行DStream输出操作将内容编排在分布式流媒体平台Kafka中创建“超限报警”主题，发布消息至手机或者业务系统，达到报警提示目的。

2.根据权利要求1所述的一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1创建消息主题，主题包含三部分内容，主题名称、复制系数即主题复本数量、分区数即主题的分区数量，分布式流媒体平台Kafka集群会根据主题名称为每个分区创建指定数量的复本；

步骤1.2规范主题内容格式：包括测点名称、测点描述、单位、时间、质量、数值、超温限值、超温级别，并将主题内容转为以逗号隔开换行符分行的文本信息进行消息传输，如下所示：

N1.GWZRQ_01,高温再热器右侧01点,℃,1633421667,0,526.6,550,L1

N1.GWZRQ_02,高温再热器右侧02点,℃,1633421667,0,511.6,550,L1。

3.根据权利要求1所述的一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，其特征在于，步骤4具体如下：

进行RDD转换操作：transform操作即转化操作允许DStream在每批次的数据流执行Map方法或Filter方法，将数据集RDD转为锅炉壁温超限的测点实时值对应超限限值进行比较，将大于限值的测点，记录实时温度和限度温度，重新由测点名称、测点描述、单位、时间、超温限值、实际值、级别组成新的RDD序列。

4.根据权利要求1所述的一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，其特征在于，步骤5具体包括以下步骤：

步骤5.1定义状态检测点，开启Checkpoint机制，目的允许DStream维护任意状态，同时不断地用新信息更新DStream；对于有状态行动操作，要不断的把当前和历史的时间切片的RDD累加计算，函数：updateStateBykey定义为：将锅炉壁温超限的测点超限信息按超限时间进行累计，并实时更新超限的结束时间；作用主要用来保障工作节点容错性的主要机制，一方面，用来控制发生失败时需要重新计算状态数；另一方面，流式计算Spark驱动程序发生崩溃时，驱动程序会用检测点恢复并继续运行下去；

步骤5.2进行滑动窗口操作，Spark Streaming采用一种有状态转化操作，是跨时间区间跟踪数据的操作也就是说，一些先前批次的数据也被用来在新批次中计算结果；主要是通过滑动窗口实现；滑动窗口操作需要两个参数，窗口时长以及滑动步长，两者都必须是批次间隔的整数倍；窗口时长为3个批次，滑动步长为2个批次；每隔2个批次就对前3个批次数据进行一次计算。

5.根据权利要求1所述的一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，其特征在于，步骤6具体包括以下步骤：

步骤6.1汇总超限结果，定义数据结构体：主题内容按计算结果编排为包括超限明细对象和超限汇总对象两对象转为以逗号隔开换行符分行的文本信息进行消息传输，其中超限明细对象包括测点名称、测点描述、单位、时间、超温限值、实际值、级别和时长，超限汇总对象包括测点名称、测点描述、单位、超温次数和超温时长。

步骤6.2创建报警主题并输出，DStream输出操作将超限汇总对象编排在分布式流媒体平台Kafka中以主题名称“超限报警”N1-OLM-Report、复制系数即主题复本数量、分区数即主题的分区数量创建“超限报警”N1-OLM-Report消息主题，发布消息至手机或者业务系统，达到报警提示目的。