[发明专利]基于机器学习的元数据调优方法、装置、设备及存储介质

说明书

本发明涉及一种基于机器学习的元数据调优方法方法、装置、计算机设备和存储介质，方法包括：确定对ceph底层存储引擎进行性能调优所要达到的优化指标数据；对于每个优化指标数据，确定用于调节优化指标数据的所有待选配置参数；基于待选配置参数对存储引擎的整体性能影响，自待选配置参数中，确定每个优化指标数据对应的目标配置参数；通过训练好的机器学习模型对目标配置参数进行优化调整，使存储引擎的性能达到优化指标数据。上述方法通过训练好的机器学习模型对存储引擎的各配置参数进行优化调整，以满足想要达到的优化指标数据，该调优过程无需人工干预、可自动调整元数据参数的方法和系统，以大大减少调优的人力成本。

技术领域

本发明涉及人工智能技术领域，特别是涉及基于机器学习的元数据调优方法、装置、设备及存储介质。

背景技术

分布式存储系统中的数据包括数据(为便于和元数据进行区分，下面均称作用户数据)和元数据，其中，元数据可理解为描述数据的数据，或者说给数据贴的各种各样的标签，其目的是为了有效的管理数据，所以，元数据的性能对整体系统的性能起着至关重要的作用。

Ceph(为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统)底层通常使用RocksDB作为存储引擎，然而RocksDB配置参数很多，很多情况下只能通过反复测试或者依靠经验来调优，甚至连RocksDB的开发者都自嘲，他们没办法弄清楚每个参数调整对性能的影响。

对于分布式存储系统中的ceph底层存储引擎，在传统使用中我们一般是基于经验判断设置一参数，然后进行测试，再根据测试结果调整这些参数。这样的调整过程非常慢，且因为参数数量过多，基本无法实现全量覆盖。再者，底层参数与上层应用强耦合，往往上层应用的存储类型改变底层参数也需要调整，如此，进一步加大了参数调整的工作量。

发明内容

基于此，有必要针对在进行ceph底层参数调优时，技术人员需要反复设置和调整参数及测试，工作量大，调整过程非常慢且因为参数数量过多无法全量覆盖的问题，提供一种基于机器学习的元数据调优方法、装置、设备及存储介质。

本申请第一方面实施例提出了一种基于机器学习的元数据调优方法，所述方法包括：

确定对ceph底层存储引擎进行性能调优所要达到的优化指标数据；

对于每个优化指标数据，确定用于调节所述优化指标数据的所有待选配置参数；

基于所述待选配置参数对存储引擎的整体性能影响，自所述待选配置参数中，确定每个优化指标数据对应的目标配置参数；

通过训练好的机器学习模型对所述目标配置参数进行优化调整，使所述存储引擎的性能达到所述优化指标数据。

在本申请的一些实施例中，所述对于每个优化指标数据，确定用于调节所述优化指标数据的所有待选配置参数，包括：

对于存储引擎的每个配置参数，确定其对存储引擎的单一性能影响；

对于每个优化指标数据，确定对其具有单一性能影响的所有待选配置参数。

在本申请的一些实施例中，所述机器学习模型包括参数分布估计模型和最优值估计模型；

通过训练好的机器学习模型对所述目标配置参数进行优化调整，包括：

通过参数分布估计模型估计各目标配置参数的分布情况；

基于各目标配置参数的分布情况，通过最优值估计模型，确定各目标配置参数的最优值。

在本申请的一些实施例中，所述参数分布估计模型基于高斯过程回归函数实现；

通过参数分布估计模型估计各目标配置参数的分布情况，包括：

通过高斯过程回归函数估计各目标配置参数的均值和标准差。