[发明专利]S3文件系统空间占用监控方法及系统

说明书

本发明公开了S3文件系统空间占用监控方法及系统，该方法包括以下步骤：S100，基于S3文件服务的访问配置表构建若干监控进程，所述监控进程采集所述S3文件服务的文件属性数据，将所述文件属性数据推送到所述监控进程相应的采集数据管道；S200，获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。本发明至少具有以下有益效果：配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。

技术领域

本发明涉及游戏服务端测试技术领域，特别涉及一种S3文件系统空间占用监控方法及系统。

背景技术

S3是Simple Storage Service的缩写，即简单存储服务,其具有高可用、分布式、跨区域复制、事件通知、加密、灵活的存储选项等诸多优点。随着S3存储服务的应用越来越广泛，随之而来的，对其系统的监控也越来越重要。S3存储服务仅仅提供了简单的客户端和部分系统相关的api，在监控方面做得不是很友好，目前市面上也没有专门针对s3的监控服务。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种S3文件系统空间占用监控方法，能够监控S3存储服务。

本发明还提出一种具有上述S3文件系统空间占用监控方法的S3文件系统空间占用监控系统。

本发明还提出一种具有上述S3文件系统空间占用监控方法的计算机可读存储介质。

根据本发明的第一方面实施例的S3文件系统空间占用监控方法，包括以下步骤：S100，基于S3文件服务的访问配置表构建若干监控进程，所述监控进程采集所述S3文件服务的文件属性数据，将所述文件属性数据推送到所述监控进程相应的采集数据管道；S200，通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。

根据本发明实施例的S3文件系统空间占用监控方法，至少具有如下有益效果：按配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。

根据本发明的一些实施例，所述访问配置表包括：服务名、服务区域、服务访问地址、访问ID及访问密码。

根据本发明的一些实施例，所述监控进程按预设的配置定时采集所述文件属性数据。

根据本发明的一些实施例，所述文件属性数据包括：Bucket名称、Bucket占用空间、Bucket下的文件名称及文件占用空间。

根据本发明的一些实施例，所述S200包括：根据所述文件属性数据获取Bucket总数量、Bucket下的文件数量、文件总数量以及总体空间占用。

根据本发明的一些实施例，所述S200还包括：按空间占用从大到小获取第一数量的Bucket，以及，按空间占用从大到小获取单个Bucket下的第二数量的文件。

根据本发明的一些实施例，还包括：基于预设展示类型，根据所述空间占用分析结果生成图文报表。

根据本发明的第二方面实施例的S3文件系统空间占用监控系统，包括：监控采集模块，用于采集S3文件服务的文件属性数据，推送到本模块相应的采集数据管道；总控制模块，用于基于所述S3文件服务的访问配置表管理若干监控采集模块；统计分析模块，用于通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。

根据本发明实施例的S3文件系统空间占用监控系统，至少具有如下有益效果：配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。