[发明专利]自动调参优化方法、装置、电子设备

说明书

本申请提供一种自动调参优化方法、装置、电子设备。其中，自动调参优化方法包括：根据调参指令，将历史系统参数和所述历史系统参数对应的资源消耗量，确定为训练样本；对所述训练样本进行特征提取；利用提取的特征，对参数预测模型进行训练；利用训练好的参数预测模型，对下一时段的系统参数进行预测，得到预测系统参数；根据所述预测系统参数，更新系统参数。本申请的方案预测了下一时段的资源消耗，因此可以提前自动修改参数，或者提前释放分区资源，解决参数需要频繁手动修改或者开辟空间不及时造成数据丢失的问题。

技术领域

本申请涉及数据同步技术领域，尤其是涉及一种自动调参优化方法、装置、电子设备。

背景技术

随着科技的不断发展和进步，数据平台处理的数据量日益增大，任务量的波动也更大。结合合适的处理参数，可以保证平台数据处理、数据同步更快、更稳定。

现阶段各数据平台参数调优的主要技术手段是固定住参数，在重量级部署前，手动调整参数。

但是，固定住参数这种方法，只适合处理数据量无明显变化的任务，对于数据量变化较快的任务场景，可能需要在每次运行时都进行手动调参才能保证较高的处理效率。导致，数据量变化较快的任务场景下，数据处理效率较低。

发明内容

本申请提供一种自动调参优化方法、装置、电子设备。提供一种适用于平台数据同步场景下的数据处理方法，以提高数据同步的效率。

第一方面，本申请提供一种自动调参优化方法，用于数据同步数据时自动对系统参数进行调整，所述方法包括：

根据调参指令，将历史系统参数和所述历史系统参数对应的资源消耗量，确定为训练样本；

对所述训练样本进行特征提取；

利用提取的特征，对参数预测模型进行训练；

利用训练好的参数预测模型，对下一时段的系统参数进行预测，得到预测系统参数；

根据所述预测系统参数，更新系统参数。

本申请提供的一种自动调参优化方法，基于历史的资源消耗量对模型进行训练，使模型具备了对下一时刻资源消耗量进行预测的能力；同时，模型可以基于系统参数和资源消耗量的对应关系，对下一时刻的系统参数做出预测，得到预测系统参数，从而能够依据预测系统参数，更新系统参数，使系统参数尽可能适配下一时刻资源消耗量（数据量）。从而达到根据资源消耗量的不同而自动修改系统参数的效果，提高了数据处理效率。

可选的，所述根据调参指令，将历史系统参数和所述历史系统参数对应的资源消耗量，确定为训练样本，包括：

根据调参指令，将历史系统参数和所述历史系统参数对应的资源消耗量，确定为训练样本集；

基于自助法，根据所述训练样本集，生成若干组训练样本；

所述对所述训练样本进行特征提取，包括：

针对每一组训练样本，对所述训练样本进行特征提取；

所述利用提取的特征，对参数预测模型进行训练，包括：

针对每一组训练样本，利用所述训练样本对应的提取的特征，对参数预测模型进行训练，得到一组对应的模型参数；

从若干组所述模型参数中，选取最优模型参数，生成训练好的参数预测模型。

通过对多组样本进行特征提取，可以得到多组模型参数，在多组模型参数中找到最优模型参数，可以保证模型的优化程度更高。

可选的，所述从若干组所述模型参数中，选取最优模型参数，生成训练好的参数预测模型，包括：

获取测试任务；