[发明专利]一种分布式监控系统、监控方法及装置

说明书

本申请提供一种分布式监控系统、监控方法及装置。该系统包括：总管理节点、多个分管理节点、消息中间件和多个计算节点；所述分管理节点用于采集对应计算节点的监控数据，并向所述消息中间件发送所述监控数据；所述消息中间件用于缓存所述监控数据；所述总管理节点从所述消息中间件中获取所述监控数据，以实现对所述多个计算节点的监控。本申请实施例采用分层技术实现对集群系统中计算节点监控数据的采集，通过利用多个分管理节点和消息中间件来分担总管理节点的负荷，从而避免了管理节点负载过大的问题。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种分布式监控系统、监控方法及装置。

背景技术

集群系统是指由两台或多台计算节点通过网络互连而成，协同完成并行应用程序中的任务的系统。现有的集群部署结构大多是通过管理节点采集计算节点的信息，形成计算节点和管理节点的物理映射。这种直接将计算节点信息采集或推送到管理节点上，容易造成管理节点负载过荷的问题。

发明内容

本申请实施例的目的在于提供一种分布式监控系统、监控方法及装置，用以解决现有技术中管理节点负载过荷的问题。

第一方面，本申请实施例提供一种分布式监控系统，包括：总管理节点、多个分管理节点、消息中间件和多个计算节点；所述分管理节点用于采集对应计算节点的监控数据，并向所述消息中间件发送所述监控数据；所述消息中间件用于缓存所述监控数据；所述总管理节点从所述消息中间件中获取所述监控数据，以实现对所述多个计算节点的监控。

本申请实施例采用分层技术实现对集群系统中计算节点监控数据的采集，通过利用多个分管理节点和消息中间件来分担总管理节点的负荷，从而避免了管理节点负载过大的问题。

进一步地，所述多个分管理节点构成多个监管层；其中，多个监管层的最下层中的分管理节点与计算节点通信连接，用于获取对应计算节点的监控数据，并向上一层的中间层监管层的分管理节点传输所述监控数据；每一所述中间层监管层再向上一层监管层发送所述监控数据；最上层的监管层中的分管理节点与所述消息中间件通信连接，用于向所述消息中间件发送所述监控数据。本申请实施例通过将分管理节点分成多层，从而通过多个监管层使得能够适用于更大规模的集群系统。

进一步地，所述总管理节点还用于监控各分管理节点的工作状态，并根据各分管理节点的工作状态为所述分管理节点分配对应的计算节点，并生成对应的映射关系表；其中，所述映射关系表包括各个分管理节点负责监控的计算节点的对应关系。本申请实施例通过总管理节点根据各个分管理节点的工作状态，为分管理节点分配对应的计算节点，并通过映射关系表来记录，一方面，保证了各个分管理节点的负荷均匀，另一方面，能够使得分管理节点获得其对应的计算节点。

进一步地，所述分管理节点具体用于：定期从所述总管理节点获取所述映射关系表，根据所述映射关系表确定要监控的计算节点，并采集要监控的计算节点的监控数据。本申请实施例中，由于总管理节点会动态调整分管理节点与计算节点的对应关系，因此，分管理节点通过定期从映射关系表中确定要监管的计算节点，防止计算节点被重复监控或漏监控。

进一步地，所述分管理节点中存储采集调度列表；所述采集调度列表用于表征对应的分管理节点管理的计算节点的范围；所述分管理节点根据所述映射关系表确定要监控的计算节点，并采集要监控的计算节点的监控数据，包括：若所述映射关系表中分管理节点与计算节点的对应关系发生变化，则从所述映射关系表中获取要监控的计算节点；重置采集调度列表，并根据重置后的采集调度列表采集对应计算节点的监控数据。本申请实施例中，分管理节点从映射关系表中得知对应的计算节点发生变化时，通过重置采集调度列表来对新的计算节点进行监控，从而，保证了各个分管理节点都能够监管其对应的计算节点。