[发明专利]一种基于大数据流式计算的故障实时匹配方法

说明书

本发明公开了一种基于大数据流式计算的故障实时匹配方法，包括如下步骤：将设备运行状态数据通过中转装置上传到大数据云平台；数据预处理；大数据云平台接收到数据后，进行数据合法性验证、数据类型归类、丢弃缺失数据、重复数据清洗后，发往Kafka消息集群；基于Spark Streaming计算Kafka消息集群的流式故障实时匹配；将设备运行状态数据上传到大数据云平台，进行数据合法性验证、数据类型归类、丢弃缺失数据、重复数据清洗后，实现了实时高效针对多变量故障匹配故障告警信息和故障精准溯源信息。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于大数据流式计算的故障实时匹配方法。

背景技术

在物联网的应用场景中，监控系统的实时报警实效低，延迟严重，运维不及时，均会造成较大的事故，故而对运行状态进行实时监控，及时发现设备和装置工作异常并及时报警就显得十分必要。尤其是以多个过程变量为基础的监控方法，在监控能效上具有单变量监控所不能达到的效果，因此多变量监控方法日益受到关注，也越来越多地被应用于生产过程监控。

近些年来使用的告警实时监控系统已经对传统的监控系统做出了很多改进,但现有方法的缺陷主要在于仅能处理单变量的故障匹配，而无法高效处理多变量故障匹配，致使成百上千个监控变量的大型监控系统，在面对多变量故障实时匹配时，耗时滞后严重，无法满足及时告警、迅速定位问题的迫切需求。

鉴于此，实有必要提供一种新型的基于大数据流式计算的故障实时匹配方法以克服上述缺陷。

发明内容

本发明的目的是提供一种基于大数据流式计算的故障实时匹配方法，能够实时高效针对多变量故障匹配故障告警信息和故障精准溯源信息。

为了实现上述目的，本发明提供一种基于大数据流式计算的故障实时匹配方法，包括如下步骤：

S1、将设备运行状态数据通过中转装置上传到大数据云平台；

S2、数据预处理；大数据云平台接收到数据后，进行数据合法性验证、数据类型归类、丢弃缺失数据、重复数据清洗后，发往Kafka消息集群；

S3、基于Spark Streaming计算Kafka消息集群的流式故障实时匹配。

优选的，步骤S3还包括步骤3.1、将实时匹配的数据使用正则表达式匹配解析为多变量监控指标模型列表，采取移动平均法对信号平滑去噪；

步骤S3还包括步骤3.2、利用滚动窗口，采取高阶中心距筛选出早期故障；

步骤S3还包括步骤3.3、对多变量监控指标模型按位报警分区、按值报警分区、按区间报警分区，再结合报警字典产生报警描述信息；

按位报警分区，计算得到位报警正常子集和位报警异常子集；

多变量[序号-值]对列表，按位报警分区，如果监控变量的序号位于报警区间，计算得到位报警区集合；否则划分为其它区；

按值报警分区，计算得到值报警正常子集和值报警异常子集；

在按位报警分区的其它区中，按值报警分区，如果监控变量的序号位于值报警区间，计算得到值报警区集合；否则划分为其它区；

按区域报警分区，计算得到区间报警正常子集和区间报警异常子集；

在按值报警分区的其它区中，如果监控变量的值命中报警字典的报警上限到下限区间，计算得到区间报警正常子集；否则划分为区间报警异常子集；

步骤S3还包括步骤3.4、组合步骤3.3的各正常子集为监控变量正常数据集，组合步骤3.3的各异常子集为监控变量异常数据集；

步骤S3还包括步骤3.5、计算监控变量从异常恢复正常的数据集；