[发明专利]基于ceph的对象存储使用量统计方法及系统

说明书

本发明公开了一种基于ceph的对象存储使用量统计方法及系统，属于对象存储使用量统计领域，要解决的技术问题为用户查询使用量时不请求rgw前提下、如何采集租户使用量并入表。其方法为：设定采集周期T并将采集周期T划分为多个子周期t，并构建统计子表和统计表；以t为采集周期值，通过第一线程周期性的从ceph集群中获取租户的存储量和使用量，并将每个子周期t对应的存储量和使用量存入统计子表中；以T为采集周期值，通过第二线程周期性的从统计子表中获取所述周期T内所有子周期t对应的存储量和使用量，并将所述周期T内所有子周期t对应的存储量和使用量存入统计表中。系统包括配置模块、第一采集模块、第二采集模块和查询模块。

技术领域

本发明涉及对象存储使用量统计领域，具体地说是一种基于ceph的对象存储使用量统计方法及系统。

背景技术

对象存储是为互联网应用提供非结构化文件存储的服务，相对于传统硬盘存储，对象存储具有存储无上限、支持高并发访问、成本更低等优势。解决业务架构的文件存储问题，有效降低海量文件的存储成本，支持热点数据的高并发访问，提升终端用户访问体验。目前各大云平台都提供对象存储服务，租户使用量作为计费计费依据需要展示给租户。

目前ceph(其为一个分布式文件系统，能够在维护POSIX兼容性的同时加入了复制和容错功能)的对象存储支持使用量的统计，用户可以通过对象存储网关(rgw)查询用户某个时间段的使用量信息，包括用户存储量、使用流量和api访问次数。但是一般对象存储的使用量查询非常灵活，支持按照时间段或者按照某些规则对使用量信息进行处理。比如用户请求最近30天的api请求次数，需要向rgw发起30次请求，若通过现有主流云平台的概览页面所需的数据来看，需要请求rgw接近100次请求，对rgw会产生极大的压力。另外rgw统计的存储量是实时的，而租户计费和展示的使用量是根据历史数据和业务逻辑进行处理后的值，若通过直接查询rgw是无法得到期望的结果的。

基于上述问题，用户查询使用量时不请求rgw前提下、如何采集租户使用量并入表，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于ceph的对象存储使用量统计方法及系统，来解决用户查询使用量时不请求rgw前提下、如何采集租户使用量并入表的问题。

第一方面，本发明提供一种基于ceph的对象存储使用量统计方法，周期性的从ceph集群中获取并存储租户的存储量和使用量，包括如下步骤：

设定采集周期T并将采集周期T划分为多个子周期t，并构建统计子表和统计表；

以子周期t为采集周期值，通过第一线程周期性的从ceph集群中获取租户的存储量和使用量，并将每个子周期t对应的存储量和使用量存入统计子表中；

以周期T为采集周期值，通过第二线程周期性的从统计子表中获取所述周期T内所有子周期t对应的存储量和使用量，并将所述周期T内所有子周期t对应的存储量和使用量存入统计表中。

在上述实施方式中，按照子周期t周期性的从ceph集群中获取租户的存储量和使用量，并保存入统计子表中，并按照周期T周期性的采集统计子表中采集该周期T内所有子周期对应的存储量和使用量，并保存入统计表中，从而可直接从统计表中查询租户的存储量和使用量，实现用户查询使用量时不请求rgw直接查表。

作为优选，使用量包括使用流量和API请求次数。

作为优选，第一线程中配置有命令行radosgw-admin user stats–uid＝<id>，通过命令行radosgw-admin user stats–uid＝<id>周期性的从ceph集群中获取租户的存储量和使用量。

作为优选，第二线程中配置有命令行：