[发明专利]一种监控采集系统及方法

说明书

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种监控采集系统及方法。

背景技术

随着计算机技术的快速发展，数据处理量的急剧增长，服务器集群在计算机应用技术领域得到了广泛应用。所谓服务器集群是指多个服务器集中起来共同完成任务，在客户端看来就像是只有一个服务器；服务器集群可以利用多个计算机进行并行计算，从而获得很高的计算速度，也可以用多个计算机做备份，从而保证任何一个机器出现故障，并不会影响整个系统的正常运行。服务器集群在处理大规模数据时，需要实时监控，需要实时进行数据采集，且采集的任务量大，任务种类众多。

目前，采用的分布式任务系统对服务器集群系统进行监控管理，具体是：采用单任务分发单元和多任务执行单元的工作模式，通过单任务分发单元将多个任务分配给不同的任务执行单元进行处理。当任务量超过任务分发单元处理能力的上限时，大量任务将无法顺利按时得到分配执行，甚至，会导致任务丢失的问题。另外，整个系统的任务调度处理是通过任务执行单元对自身负载状况进行监控，将负载状况信息反馈给控制中心，单任务分发单元根据这些负载状况信息再进行任务的合理分配。这种监控管理方式，只能实现每个任务执行单元自身的负载均衡，会造成局部任务执行单元繁忙或者空闲的状态，无法实现整个系统全局性的负载均衡，无法使得系统的资源得到合理利用。另外，当任务执行单元出现故障导致执行出错或者服务异常停止的情况时，会造成当前执行任务丢失或者数据错误的问题，更严重的会导致系统无法正常工作。

基于上述技术存在的技术问题，现在迫切需要提供一种新的监控采集系统以提高系统的处理能力、系统资源利用率和系统稳定性。

发明内容

为了解决上述技术问题，本发明实施例提供了一种监控采集系统及方法，以提高系统的处理能力、系统资源利用率和系统稳定性。

本申请实施例公开了如下技术方案：

一种监控采集系统，包括：

任务分发单元、至少两个任务执行单元、健康监控单元和负载均衡单元；

所述任务分发单元，用于根据负载均衡单元的负载均衡指标将获取到的任务分配给任务执行单元；

所述任务执行单元，用于执行接收到的监控采集任务，并记录任务执行状态和执行结果；

所述健康监控单元，用于监控所述任务执行单元的工作状态和负载；

所述负载均衡单元，用于根据所述健康监控单元的监控的信息，确定任务执行单元的负载均衡指标。

优选的，所述健康监控单元，包括：

获取子模块，用于获取每一个任务执行单元的工作状态信息和负载信息，所述负载信息包括：CPU负载信息、内存使用率、磁盘IO信息和网络IO信息；

记录子模块，用于记录所述获取子模块获取的每一个任务执行单元的工作状态信息记和负载信息。

优选的，所述健康监控单元，还包括：

反馈子模块一，用于将监控到的异常或者高负载的任务执行单元信息直接发送至所述任务分发模块。

则所述任务分发单元，还用于根据反馈子模块反馈的信息将出现异常或者高负载的任务执行单元中未处理的任务重新分配给其他任务执行单元，且不再给所述出现异常或者高负载的任务执行单元分配新任务。

优选的，所述健康监控单元，还包括：

反馈子模块二，用于将监控到的异常或者高负载的功能单元信息反馈给系统维护模块，以便及时进行故障处理。

优选的，所述负载均衡单元，包括：

去除子模块，用于根据所述健康监控单元得到的工作状态信息，去除出现异常和没有启动的任务执行单元信息；

排序子模块，用于根据所述健康监控单元得到的负载信息，对去除之后的所有的任务执行单元进行排序，得到每个任务执行单元的负载均衡指标。

优选的，还包括：

至少一个任务分发单元，则所述系统为每一个任务分发单元都配置各自的资源管理范围，所述资源管理范围包括：管理的服务器和任务执行单元；

所述任意一个分发单元，用于根据负载均衡单元确定的负载均衡指标将获取到的任务分配给自身管理的任务执行单元。

优选的，所述健康监控单元，还包括：

监控子模块，用于监控每一个任务分发单元的工作状态和负载；

则所述负载均衡单元，还包括：

调整子模块，用于根据所述监控子模块监控到的信息，将出现异常或者负载过高的任务分发单元所管理的服务器资源和任务执行单元，根据负载情况配置给其他任务分发单元。