[发明专利]一种基于打分体系的分布式采集服务调度系统及方法

说明书

一种基于打分体系的分布式采集服务调度方法及系统，涉及网络设备采集任务的分配技术领域，使用采集服务指标评价体系，不仅考虑了采集服务自身的运行情况，还加入外部评价体系，即从采集服务外部对采集服务及采集服务的运行环境进行探测并评价。本发明有益效果：同时考虑了采集服务的内外部因素，并增加人为干预环节，使得服务的评价得分更加客观。

技术领域

本发明属于网络设备采集任务分配技术领域，具体涉及一种基于打分体系的分布式采集服务调度方法及系统。

背景技术

网络设备通过采集获取网络设备的运行状态信息，采集是进行网络设备管理的重要手段。随着采集系统纳管设备的增多，对采集系统的采集效率和采集的及时性提出了新的要求。为解决采集效率和及时性问题，采集系统通过部署多个采集服务实例同时对网络设备进行采集的方式进行采集任务分担。多个采集实例通过分布方式进行部署，通常称为分布式采集系统。网络设备分布式采集系统拥有多个采集服务实例，每个采集服务实例负责不同的网络设备的数据采集。如何把采集任务分配到采集服务上，是提高系统整体处理能力的关键所在。

通常情况下，采集任务的分配基于固定策略，如平均分配、指定权重、基于采集服务的负载状况动态分配等策略。目前多采用静态的策略提前进行任务分配或仅仅从采集服务的一些服务状态进行采集任务分配。随着云化和容器化部署，运行采集服务实例的运行环境越来越复杂，在进行采集任务分配时，需要综合考虑承载采集服务实例的运行环境情况，如运行采集服务实例的容器、虚机、物理机、网络状况等，网络设备分布式采集系统的采集任务分发和调度是否合理，影响整个系统的采集效率和吞吐量等指标。本发明针对采集服务的运行环境的复杂情况，采用打分机制对采集服务实例进行评价，为动态分配采集任务提供更加客观的依据，达到采集效率最大化。

发明内容

本发明所要解决的技术问题是提供一种基于打分体系的分布式采集服务调度方法及系统，解决网络设备分布式采集系统的采集任务分发和调度等问题，提高系统整体处理能力。

本发明为解决上述技术问题所采用的技术方案是：在本发明的第一方面，提供一种基于打分体系的分布式采集服务调度方法，包括以下步骤：

(1)采集服务获取服务自评分计算规则；

(2)采集服务根据自评分计算规则定期进行自评价并将自评价得分上报给采集服务评价单元；

(3)采集服务外部评价单元获取服务评分计算规则；

(4)采集服务外部评价单元根据服务评分计算规则向采集服务发起探测进行指标数据获取并对获取的数据进行计算，把计算结果上报给采集服务评价单元；

(5)采集服务评价单元根据采集服务和采集服务外部评价单元上报的评价得分进行加权计算生成每个采集服务的评价结果；

(6)用户根据实际情况对评价结果进行调整；

(7)采集服务评价单元同步采集服务的评价结果给采集调度单元；

(8)采集调度单元根据评价结果，按照调度规则进行采集服务调度，将采集任务分发给采集服务。

本发明所述步骤(2)中采集服务进行自评价的依据包括采集服务当前负载情况、采集服务所在主机资源使用情况、外部资源使用情况。

本发明所述步骤(4)中采集服务外部评价单元探测获取的指标数据包括采集服务到设备的连通性及网络性能情况、采集服务到外部存储的连通性及网络性能情况、部署采集服务的基础设施运行情况。

本发明所述步骤(5)中加权计算的方法为：采集服务自评价80％，采集服务外部评价20％。

在本发明的第二方面，提供一种基于打分体系的分布式采集服务调度系统，包括：