[发明专利]一种监控分布式存储系统的方法及装置

说明书

本发明提供一种监控分布式存储系统的方法及装置，监控服务器向分布式存储系统中的各集群发送采集指令；监控服务器获取各集群基于采集指令反馈的监控数据，监控数据包括集群自身的健康数据以及与集群相连的客户端的状态数据；针对至少一个集群，监控服务器根据预设的告警规则，从集群的监控数据中确定告警信息并将告警信息上报至告警平台。该方案，监控服务器将采集指令下发至分布式存储系统中的各集群，使得监控服务器可同时监控多个集群；此外，各集群所反馈的监控数据中包括与集群相连的客户端的状态数据，有利于监控服务器通过对与集群相连的客户端的状态数据的分析来确定告警信息，实现了监控服务器对与集群相连的客户端进行监控的目的。

技术领域

本发明涉及金融科技(Fintech)领域，尤其涉及一种监控分布式存储系统的方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术(例如：区块链、云计算或大数据)应用在金融领域，传统金融业正在逐步向金融科技转变，大数据技术也不例外。但由于金融、支付行业的安全性、实时性要求，也对大数据技术提出了更高的要求。

出于对海量数据所要求的可扩展性以及高可用性等因素的考虑，银行业一般选择将CephFS(Ceph File System，Ceph文件系统)这样一种分布式存储系统作为共享存储的技术方案，其中，CephFS下连接有Ceph Fuse客户端；与此同时，本领域的技术人员通常采用开源的Prometheus这样一种监控系统对CephFS进行监控。其中，Prometheus主要由Exporters和Prometheus Sever等部分组成；CephFS主要由监视器(Monitor，简写成MON)、目标存储设备(Object Storage Device，简写成OSD)以及元数据服务器(MetaData Sever，简写成MDS)等各类组件组成，此外，CephFS OSD组件上还分布有归置小组(Placement Groups，简写成PG)。

针对现有技术中的Prometheus对于CephFS进行监控的技术方案，存在以下两方面问题：

第一，Prometheus对于CephFS的监控主要表现为Prometheus对CephFS OSD组件状态以及CephFS PG状态的数据采集，但Prometheus并没有实现对Ceph Fuse客户端的监控。

第二，Prometheus对于CephFS的监控架构非常臃肿，表现为需要给每个CephFS部署一套Prometheus；此外，由于CephFS版本的不同，还需要为不同版本的CephFS部署不同的Expoter。如图1所示，为现有技术的Prometheus对于CephFS的监控架构图。参考图1，Exporter_M采集CephFS_M的监控数据，若所采集到的监控数据满足生成告警信息的规则，则将生成的告警信息上报至Prometheus Sever_M，同理，Exporter_N采集CephFS_N的监控数据，若所采集到的监控数据满足生成告警信息的规则，则将生成的告警信息上报至Prometheus Sever_N；但由于Exporter_M与CephFS_N版本的不匹配，从而不能将Exporter_M用于采集CephFS_N的监控数据，以实现对CephFS_N的告警信息的上报。也即，PrometheusSever、Exporter和CephFS这三者之间没有实现高可用，导致在异常情况下无法及时上报监控信息。

综上，现有技术存在Prometheus无法监控Ceph Fuse客户端以及Prometheus对于CephFS的监控效率低下的问题。

发明内容

本发明提供一种监控分布式存储系统的方法及装置，用以解决Prometheus无法监控Ceph Fuse客户端以及Prometheus对于CephFS的监控效率低下的问题。