[发明专利]超参数阈值范围确定方法、装置、存储介质及电子设备

说明书

本公开涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。方法包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。由于目标超参数的阈值范围的确定参考了相应的评估指标，因此可以根据用户的不同需求选取合适的目标超参数阈值范围。这样，后续可以依据该目标超参数阈值范围进行超参数调优，缩小了反复调优尝试的范围，从而提升了超参数调优的效率、降低了人工成本，进而提升了人工智能模型训练的效率。

技术领域

本公开涉及人工智能领域，具体地，涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。

背景技术

人工智能近三十年来获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕成果。但是，现阶段人工智能模型训练仍然还是耗时耗力的工作内容，往往需要专家根据自身经验进行反复迭代调优，其中有大部分工作内容是针对人工智能模型训练算法的超参数进行反复调优尝试。为了提高人工智能模型训练的效率、降低人工成本，研究者提出了诸如网格搜索(GridSearch)、贝叶斯优化等方法来实现超参数的自动调优。

但是目前提出的大部分方法仍然依赖于用户输入的初始值，例如，GridSearch方法需要用户手动输入一系列超参数的数组，贝叶斯优化方法也需要随机生成一系列的采样点，即初始超参数的阈值范围仍依赖于个人经验进行设置。另外，上述Grid Search方法只能验证已输入范围内的超参数值的效果，而贝叶斯优化方法也往往集中在初始采样点的周边范围内进行参数调优，它们无法根据用户的不同需求(例如，模型准确率、训练效率)设定合适的阈值搜索方法。

发明内容

为了克服相关技术中存在的问题，本公开提供一种超参数阈值范围确定方法、装置、存储介质及电子设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种超参数阈值范围确定方法，包括：

在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；

根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

可选地，所述根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围，包括：

获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；

根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；

以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；

将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；

将所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。

可选地，所述获取多个第一目标超参数估计值，包括：

将多个所述第一目标超参数值按照数值大小进行排序；

将排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。