[发明专利]一种基于flink实现的数据开发平台的预警系统

说明书

本发明公开了一种基于flink实现的数据开发平台预警系统，通过消息队列接收转发业务处理时的时序数据，使用flink实时计算引擎对接收到的数据进行实时处理分析，同时对不同的业务划分不同的数据敏感度等级，对不同的敏感度等级的数据进行不同数据处理，从而提高故障检测的准确性，同时降低故障误报率。本发明还预测下一时间点的数据并与采集来的实时数据、存储在数据库的历史数据比较判断以及故障诊断，实现快速准确定位到平台故障发生点以及故障产生原因。目前可以在平台故障发生前72小时对故障进行预警，准确率90％以上，对故障的产生原因结论正确率达到95％以上。

技术领域

本发明涉及数据中台故障诊断领域，具体涉及一种基于flink实现的数据开发平台预警系统。

背景技术

由于数据平台在处理大批量数据任务时，会出现存储量超出、内存使用率过高或其他问题，从而引起平台的故障，轻则降低工作效率，重则使平台阻塞停顿，影响业务处理及数据分析。针对此情况，业界十分重视，对平台安全、稳定长周期及满负荷运行的要求越来越迫切，希望能够及时了解平台系统状态，通过检测和预判状态走势，达到对故障早发现早预防早解决的目的，从而避免平台阻塞，提高处理效率。目前的预警系统不能在故障前发出预警，只能在故障发生后进行故障诊断，给平台带来很大的隐患，而且没有算法支撑并且在不完全的信息基础上推理做出结论，故障诊断结果准确率极低。

发明内容

针对现有技术的不足，本发明旨在提供一种基于flink实现的数据开发平台预警系统。

为了实现上述目的，本发明采用如下技术方案：

一种基于flink实现的数据开发平台预警系统，包括：

消息队列模块：用于接收推送来的指标数据，按照数据开发平台的处理任务类型存放到系统数据库里不同的消息分区；

数据实时预测模块：用于使用flink实时计算引擎，在数据正常接收、无数据丢失时，使用已累积的数据预测下一数据；在数据有丢失时，使用已累积的数据的均值来补充丢失的数据；

实时异常检测模块：用于将不同任务类型的数据设定为不同的数据敏感度，并对于不同的数据敏感度设定不同的异常阈值，使用flink实时计算引擎计算预测的数据和实际的数据之间的偏差是否超出异常阈值，并据此判断出异常的数据；

实时异常诊断模块：针对检测出来的异常的数据，通过接口从系统数据库里读取相应的内存及存储信息和日志信息，并据此判断业务异常发生的原因以及需要关注的异常点；

故障预警以及诊断结果反馈模块：用于为用户提供检测结果标注，将用户标注的正确数据返回到数据实时预测模块中。

进一步地，故障预警以及诊断展示模块：用于结合3D模型展示异常的发生点以及诊断结果。

本发明的有益效果在于：本发明通过消息队列接收转发业务处理时的时序数据，使用flink实时计算引擎对接收到的数据进行实时处理分析，同时对不同的业务划分不同的数据敏感度等级，对不同的敏感度等级的数据进行不同数据处理，从而提高故障检测的准确性，同时降低故障误报率。本发明还预测下一时间点的数据并与采集来的实时数据、存储在数据库的历史数据比较判断以及故障诊断，实现快速准确定位到平台故障发生点以及故障产生原因。目前可以在平台故障发生前72小时对故障进行预警，准确率90％以上，对故障的产生原因结论正确率达到95％以上。

附图说明

图1为本发明实施例的系统框架示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种基于flink实现的数据开发平台预警系统，如图1所示，包括：