[发明专利]基于Spark Streaming实时检测锅炉壁温超限报警的方法

说明书

本发明是一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，基于Spark大数据处理和计算框架，通过SparkStreaming驱动器程序订阅Kafka，贯通SIS实时数据库，利用离散化流DStream实现不间断7*24工作,将锅炉壁受热面金属监测的所有测点数据按批次间隔形成一个持续RDD序列，通过“Map”转化操作过滤出超限测点，再由“Reduce”滑动窗口操作进行聚合，实现实时检测锅炉壁温超限报警统计，对预防超温引发机组停机、提高发电设备可靠性和间接降低发电成本有着显著的作用。

技术领域

本发明涉及计算机应用领域，工业电站生产运行领域，特别涉及一种基于SparkStreaming实时检测锅炉壁温超限报警的方法。

背景技术

目前，火电厂发电机组已进入大容量、高参数的发展阶段，600MW、1000MW等级的超临界、超超临界机组相继投运。随着机组参数的不断提高，特别是主蒸汽温度的升高，引发锅炉管壁内氧化垢引起的超温问题更为突出；有统计表明，锅炉故障引起发电机组事故停机约占80％，其中70％的故障是由受热面损坏造成的。受热面管路的损坏直接或间接地与运行过程中受热面的超温有关。当管壁金属温度超过所用钢材在承受力水平下的容许温度时，会引起管子的高温蠕变，严重时造成爆管事故，不但会造成巨大的直接经济损失，而且由于爆管区域附近大片管子受损，埋下了连续爆管的隐患，严重影响锅炉的安全运行，降低了设备的可用率，造成了发电机组事故停机直接增加了发电成本。

发明内容

为了克服上述现有技术存在的问题，本发明的目的在于提供一种基于SparkStreaming实时检测锅炉壁温超限报警的方法，该方法利用离散化流DStream实现不间断7*24工作,将锅炉壁受热面金属监测的测点数据按批次间隔(60秒)形成各个RDD，通过“Map”转化操作过滤出超限测点，再由“Reduce”行动操作进行聚合输出到消息系统进行实时报警的目的,对预防超温引发机组停机、提高发电设备可靠性和间接降低发电成本有着显著的作用。

首先对本发明中出现的技术名词作以下说明：

RDD：是弹性分布式数据集(Resilient Distributed Datasets,简称RDD)，就是一个不可变的分布式对象集合。RDD支持两种操作：转化操作和行动操作。

DStream：是随着时间推移而收到的数据序列，每个时间区间收到的数据都作为RDD存在，由这些离散化RDD所组成的序列称不离散化流(discretized stream)。

转化操作：是通过Map()或者Filter()等返回一个新的RDD，转化操作针对RDD数据集中各个元素。

行动操作：是通过Reduce()或者count()等返回新的数据类型，最终求得结果生成实际的输出。

Spark，是大数据处理和计算框架，一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是非常重要的。Spark的一个重要特点就是能够在内存中计算，因而更快。

为了实现上述目的，本发明采用的技术方案是：

一种基于Spark Streaming实时检测锅炉壁温超限报警的方法，包括以下步骤：

步骤1、在分布式流媒体平台Kafka中创建“锅炉壁温超限”主题；

步骤2、从分布式流媒体平台Kafka中订阅“锅炉壁温超限”主题，构建StreamingContext上下文环境，实列化针对这个主题的接收器线程数据的映射表；

步骤3、按批次间隔读取数据,形成的一个持续RDD序列，即离散化流也就是DStream；

步骤4、通过转化操作过滤出锅炉壁温超限的测点形成一个新的持续RDD序列即新的DStream；