[发明专利]基于深度学习的消息队列监控方法及装置

说明书

本发明提供了一种基于深度学习的消息队列监控方法及装置，消息队列监控方法包括：对预设时段内的消息队列的历史监控数据进行预处理；根据经预处理的历史监控数据，应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型；采集当前消息队列的实时监控数据，并将所述实时监控数据输入所述预测模型，得到当前消息队列的预测增速；以及，根据当前消息队列的预测增速，基于预设规则判断是否进行针对当前消息队列的报警处理。本发明能够有效提高消息队列监控的可靠性及准确性，避免针对消息队列的漏报警和无效报警。

技术领域

本发明涉及计算机数据处理技术领域，具体涉及一种基于深度学习的消息队列监控方法及装置。

背景技术

“消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象；消息被发送到队列中，“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。

现有消息队列深度监控通常采用设定固定阀值的方法，当消息队列深度超过该阀值，则报警。事实上，由于系统整体业务变化、系统性能变化、瞬时消息收发不确定性等因素，固定阀值监控弊端明显，无法满足预期监控目标，主要表现是误报率、漏报率高。特别地，当系统数量较多、关联关系复杂时，阀值设置较低，则无效报警会爆发式增加，不仅消耗报警处理人员大量精力，而且容易淹没其他有效报警，对监控成本以及监控效率影响大，显著增加人力成本和系统风险；阀值设置高时，漏报警风险加剧，增大系统风险，失去监控有效性。

因此，如何提供一种更为可靠地消息队列监控方法，是亟待解决的问题。

发明内容

针对现有技术中的问题，本发明提供一种基于深度学习的消息队列监控方法及装置，能够有效提高消息队列监控的可靠性及准确性，避免针对消息队列的漏报警和无效报警。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于深度学习的消息队列监控方法，所述消息队列监控方法包括：

对预设时段内的消息队列的历史监控数据进行预处理；

根据经预处理的历史监控数据，应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型；

采集当前消息队列的实时监控数据，并将所述实时监控数据输入所述预测模型，得到当前消息队列的预测增速；

以及，根据当前消息队列的预测增速，基于预设规则判断是否进行针对当前消息队列的报警处理。

一实施例中，所述历史监控数据包含有：消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合。

一实施例中，所述对预设时段内的消息队列的历史监控数据进行预处理，包括：

采集预设时段内的消息队列的历史监控数据；

以及，对所述历史监控数据进行离散化处理，得到所述预测模型的训练集。

一实施例中，所述对所述历史监控数据进行离散化处理，得到所述预测模型的训练集，包括：

获取各项历史监控数据分别在预设时段内对应的直方图，并根据各个所述直方图分别对各项历史监控数据进行离散化处理，得到各项历史监控数据各自分别对应的离散化数据；

将各项离散化数据组成用于机器学习模型的训练数集。

一实施例中，所述根据经预处理的历史监控数据，应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型，包括：