[发明专利]网关请求监控方法、装置、设备及介质

说明书

本发明公开了一种网关请求监控方法，涉及数据分析领域，旨在实现对Ceph对象存储过程中的所有网关请求进行监控和有效统计。该方法包括以下步骤：监听各网关节点；获取各网关节点的日志；分析所述各网关节点的日志，提取所述日志中的网关请求；分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；存储所述各网关节点的网关请求统计结果。本发明还公开了一种网关请求监控装置、电子设备和计算机存储介质。

技术领域

本发明涉及数据分析领域，尤其涉及一种网关请求监控方法、装置、设备及介质。

背景技术

Ceph是一个可靠地、具有自动重均衡和自动恢复功能的分布式存储系统，Ceph一般分为三大块服务，分别是对象存储、块设备存储和文件系统服务。在虚拟化存储的应用场景里，比较常用的是Ceph的块设备存储服务，例如在OpenStack项目里，Ceph的块设备存储服务可以直接对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

Ceph集群相比其他存储系统的优点不仅仅在于存储能力上，Ceph集群还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得到该数据存储的位置，尽量保证数据分布均衡。同时由于Ceph集群采用了CRUSH算法、HASH环等方法，因此不存在单点故障的问题，且随着存储规模的扩大，且性能也不会受到影响。

其中，Ceph集群的对象存储服务应用非常广泛，Ceph对象存储服务使用Ceph对象网关守护进程(radosgw)，它是个与Ceph集群交互的FastCGI模块，提供了与OpenStackSwift和Amazon S3兼容的接口，这些接口就是简单的GET、PUT、DEL和其他扩展，存储类型就是通常意义上的键值存储。但是一个对象存储系统，一天可以产生上万条请求，对这些请求进行有效统计分析对系统运维十分重要，而如何对这些请求进行有效的管理和统计分析是当前亟需解决的问题。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种网关请求监控方法，能对Ceph对象存储过程中的所有网关请求进行监控和有效统计，使得运维人员能实时掌握集群运行过程中产生的请求情况，为集群维护提供数据支持。

本发明的目的之一采用以下技术方案实现：

网关请求监控方法，包括以下步骤：

监听Ceph集群的各网关节点；

获取各网关节点的日志；

分析所述各网关节点的日志，提取所述日志中的网关请求；

分别统计各网关节点的网关请求，得到各网关节点的网关请求统计结果；

存储所述各网关节点的网关请求统计结果。

进一步地，监听各网关节点，包括：

创建Greenlet协程；

通过Greenlet协程对所述Ceph集群的各网关节点进行Socket监听。

进一步地，获取各网关节点的日志，包括：

通过Greenlet协程判断当前系统时间是否在所述预设时间段内，若当前系统时间在所述预设时间段内且未获取过日志，则获取各网关节点的日志。

进一步地，分析所述各网关节点的日志，提取所述日志中的网关请求，包括：

逐行提取所述日志中的日志内容；

根据预设关键词判断所述日志内容是否为网关请求；

若为网关请求，则将所述日志内容与预设文本格式进行比对，确定并提取所述网关请求的请求类型；