[发明专利]分布式监控集群管理方法、设备及计算机可读存储介质

说明书

本发明涉及金融科技(Fintech)技术领域。本发明公开了一种分布式监控集群管理方法、设备及介质，该方法通过采用分布式的思想，对整个监控集群的状态和任务分配进行统一管理，将原本由单个监控实例完成的针对采集目标集合的采集任务，分配给包含多个监控实例的监控集群来完成，减轻了单个监控实例的压力；并通过周期性跟进监控集群所监控的采集目标集合的待采集目标情况，按照均衡分配的原则将各个采集目标定期重新分配给各个监控实例，使得采集目标集合中采集任务较重的采集目标能够及时打散分配到不同的监控实例中，保证了监控集群中各个监控实例的压力和数据量的均衡，从而避免因单个监控实例的采集压力和数据处理压力过大而出现性能瓶颈的情况。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及分布式监控集群管理方法、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对监控技术和容器技术提出了更高的要求。

作为一个开源的服务监控系统和时间序列数据库，prometheus通常用以解决监控容器的问题。但原始的prometheus只支持单机模式部署，当监控规模庞大时，单机的prometheus的存储空间、系统资源消耗等容易达到瓶颈。为解决这一问题，当前常见的解决方案为：使用prometheus的relabel(标签重写)机制以及保留策略，使得不同的prometheus实例存储不同的指标数据，达到分片存储监控指标数据的目的，进而降低单个prometheus实例的瓶颈。但上述解决方案在现今海量的监控采集规模下，依旧会达到prometheus的瓶颈，因此该解决方案在监控规模快速增长的情况下也并非长久之计。上述情况反映出现有的基于prometheus的指标数据分片存储方式依旧难以打破prometheus的性能瓶颈的问题。

发明内容

本发明的主要目的在于提出一种分布式监控集群管理方法、设备及计算机可读存储介质，旨在解决现有的基于prometheus的指标数据分片存储方式依旧难以打破prometheus的性能瓶颈的技术问题。

为实现上述目的，本发明提供一种分布式监控集群管理方法，所述分布式监控集群管理方法应用于分布式监控集群管理系统，所述分布式监控集群管理方法包括：

获取与监控集群所监控的采集目标集合相关的配置文件，基于所述配置文件周期性统计所述采集目标集合中的采集目标对应的当前待采数据量；

根据获取到的所述当前待采数据量，按照预设的均衡分配原则确定所述采集目标集合的目标分配方式，其中，所述均衡分配原则基于预设的单个监控实例的数据量承载上限以及数据均衡程度评估标准所设置；

按照所述目标分配方式，将各所述采集目标分配给所述监控集群中的各监控实例，以供各所述监控实例针对当前分配到的采集目标进行监控采集。

可选地，所述根据获取到的所述当前待采数据量，按照预设的均衡分配原则确定所述采集目标集合的目标分配方式的步骤包括：

按照预设分类方式对各所述采集目标进行分类，以得到分类结果；

根据所述分类结果和每一次获取到的每一所述当前待采数据量，按照所述均衡分配原则确定每一次的所述目标分配方式。

可选地，所述按照预设分类方式对各所述采集目标进行分类，以得到分类结果的步骤包括：

根据所述配置信息获取各所述采集目标的所属任务信息，其中，每一所述所属任务信息对应一个或多个所述采集目标；

将同一所述所属任务信息对应的多个所述采集目标归为同一类别；和/或，