[发明专利]面向大数据平台的Ceph分布式存储监控与调优管理方法

摘要

本发明属于云存储技术领域，具体涉及一种面向大数据平台的Ceph分布式存储监控与调优管理方法，其重点解决Ceph分布式存储系统监控及管理操作复杂及决策数据资源难以挖掘的问题。该方法基于监控与调优管理系统来实施，该系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；本发明能够实现对Ceph分布式存储系统的高效、低成本、统一的运维管理，显著提升系统的运维管理效率，有效降低Ceph分布式存储系统在生产环境中部署应用的技术门槛，有利于系统的大规模推广应用。

主权项

1.一种面向大数据平台的Ceph分布式存储监控与调优管理方法，其特征在于，所述Ceph分布式存储监控与调优管理方法基于Ceph分布式存储监控与调优管理方系统来实施，所述系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；所述方法包括如下步骤：步骤1：所述性能调优模块通过选取不同节点数、用户规模的Ceph分布式存储集群进行部署实施，针对OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数形成预制的Ceph分布式存储集群性能调优模板库，在Ceph分布式存储集群部署初期根据预制的Ceph分布式存储集群性能调优模板库进行模板配置，对Ceph分布式存储集群性能优化涉及到的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数在合理化范围内进行确定，生成初始调优指令至配置管理模块；步骤2：所述配置管理模块接收来自性能调优模块的初始调优指令，根据调优指令进行相关参数的下发及配置；步骤3：所述告警状态规则预设模块针对代表Ceph分布式存储集群健康情况的参数，确定其正常状态下的上下阈值范围；步骤4：所述运行监控管理数据库通过数据提取接口提取Ceph分布式存储集群的运行状态数据，存储形成数据库，为集群的监控告警及性能调优提供准确数据支撑；步骤5：所述监控管理模块通过对运行监控管理数据库中的运行状态数据进行读取分析，对Ceph分布式存储集群健康状态进行实时监控，提取代表Ceph分布式存储集群健康情况的参数集合，根据所提取的参数集合生成运行监控状态数据，并发送至状态告警模块；步骤6：所述状态告警模块接收监控管理模块生成的运行监控状态数据，对运行监控状态数据进行分析，将当前的代表Ceph分布式存储集群健康情况的参数与告警状态规则预设模块预设的上下阈值范围进行匹配，一旦超过上下阈值范围则触发告警，生成告警信息并通过RESTful接口迅速提交至大数据平台进行统一的告警，并提供该告警对应的应急处理措施提示；步骤7：在Ceph分布式存储集群运行一段时间后，性能调优模块通过对来自监控管理模块的运行监控状态参数进行计算分析，对Ceph分布式存储集群性能调优模板库中的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数的具体值，根据运行监控状态参数所反应的当前Ceph分布式存储集群的情况进行调整，调整后生成更新的调优指令至配置管理模块；步骤8：所述配置管理模块接收来自性能调优模块的更新的调优指令，根据调优指令进行相关参数的下发及配置。