[发明专利]一种业务数据分布式监控方法和分布式监控集群

说明书

本发明公开了一种业务数据分布式监控方法和监控集群，其中监控方法包括如下步骤：1、建立分布式监控集群；所述分布式监控集群包括一个分发器和多个子处理器服务器；每个子处理服务器均与分发器连接；2、建立监控采集处理队列；采集待监控业务数据，将数据加入监控采集处理队列的队尾；3、当监控采集处理队列不为空时，分发器获取各子处理服务器的状态参数，所述状态参数包括：当前预计处理完成时间、当前待处理数据量、正在处理的数据量；分发器从监控采集处理队列的队头获取数据，将获取到的数据分发给最为空闲的子处理服务器处理；子处理服务器对监控数据进行记录存储。该方法在突发大量请求时，监控性能不会影响到业务系统的正常运行。

技术领域

本发明属于信息处理技术领域，具体涉及一种业务数据的分布式监控方法和监控集群。

背景技术

随着互联网大数据时代的来临，产生的数据量日益增加，每日产生的数据量轻松达到TB量级。同时网络客户也越来越多，加上各地区网络环境复杂，在提供服务给大量客户的同时，系统内部如何及时准确地监控这些数据变化，提前发现问题，解决问题成了一个系统运行的关键点。

在现有技术中，监控系统往往复杂度高，搭建接入难度大，通常需要进行二次开发，以接入现有的业务系统，并且偏向实时数据的监控和报警。虽然有些涉及到监控数据持久化和可视化展现，但并不具备在不影响业务系统的性能下拥有记录高并发、海量数据的能力。

综上，虽然目前有很多数据监控技术可供选择，但是关键实时系统的高稳定性和低延迟是重要的运行指标，如果由于监控逻辑的负载影响实时业务系统的性能，那么在设计上是有显著缺陷的。

发明内容

发明目的：本发明旨在提供一种动态可调的业务数据监控方法，在突发大量请求时，监控性能不会影响到业务系统的正常运行。

技术方案：本发明一方面公开了一种业务数据分布式监控方法，包括如下步骤：

(1)建立分布式监控集群；所述分布式监控集群包括一个分发器和多个子处理服务器；每个子处理服务器均与分发器连接；

(2)建立监控采集处理队列；采集待监控业务数据，将数据加入监控采集处理队列的队尾；

(3)当监控采集处理队列不为空时，分发器获取各子处理服务器的状态参数，所述状态参数包括：当前预计处理完成时间、当前待处理数据量、正在处理的数据量；分发器从监控采集处理队列的队头获取数据，将获取到的数据分发给最为空闲的子处理服务器处理；子处理服务器对监控数据进行记录存储。

为了不影响业务系统的性能，分发器建立单独的数据采集线程来采集待监控业务数据；业务系统的主程序在需要对业务数据进行监控时，数据采集线程将待监控数据缓存到监控采集处理队列。

分发器选择最为空闲的子处理服务器的步骤为：

根据当前预计处理完时间和正在处理的数据量计算子处理服务器的数据处理速度；

根据当前待处理数据量和数据处理速度计算等待时间；

选择等待时间最小的子处理服务器为最为空闲的子处理服务器。

另一方面，本发明公开了一种业务数据分布式监控集群，包括一个分发器和多个子处理服务器；每个子处理服务器均与分发器连接；

所述分发器包括监控采集处理队列，将采集到的待监控业务数据加入监控采集处理队列的队尾；选择子处理服务器处理监控采集处理队列中的数据；

子处理服务器向分发器上报状态参数，所述状态参数包括：当前预计处理完成时间、当前待处理数据量、正在处理的数据量；子处理服务器对监控数据进行记录存储。