[发明专利]使用元建模对机器学习和深度学习模型进行快速准确的超参数优化

权利要求书

1.一种方法，包括：

对于多个训练数据集中的每个训练数据集：

从该训练数据集导出多个数据集元特征的多个值；以及

针对机器学习ML模型的包括多个特征点超参数配置的多个不同的超参数配置中的每个超参数配置：

基于该超参数配置来配置所述ML模型；

基于该训练数据集来训练所述ML模型；

获得指示当配置有该超参数配置时训练所述ML模型如何有效的经验质量分数；以及

生成多个性能元组中的性能元组，其中所述性能元组包含：该超参数配置、所述多个数据集元特征的所述多个值、所述经验质量分数，以及，对于所述多个特征点超参数配置中的每个特征点配置的：该特征点配置的经验质量分数和/或该特征点配置；

基于所述多个性能元组，训练回归器以基于给定的数据集以及给定的超参数配置来预测估计的质量分数。

2.如权利要求1所述的方法，还包括：

从新数据集导出用于所述多个数据集元特征的新的多个值；

对于第二多个不同的超参数配置中的每个超参数配置，通过所述回归器预测多个质量分数中的新质量分数，其中所述新质量分数基于：所述超参数配置以及所述多个数据集元特征的所述新的多个值；

选择具有所述多个质量分数中的最佳质量分数的所述第二多个不同的超参数配置中的最佳超参数配置；

基于所述最佳超参数配置以及所述新数据集来训练所述ML模型。

3.如权利要求2所述的方法，其中：

所述多个不同的超参数配置包括多个特征点超参数配置；

所述第二多个不同的超参数配置包括所述多个特征点超参数配置。

4.如权利要求2所述的方法，其中：

选择所述最佳超参数配置包括选择固定数量的最佳超参数配置；

基于所述最佳超参数配置来训练所述ML模型包括：针对所述固定数量的最佳超参数配置中的每个超参数配置，基于该超参数配置来训练所述ML模型。

5.如权利要求4所述的方法，还包括，对于所述第二多个不同的超参数配置中的每个超参数配置：

基于所述固定数量的最佳超参数配置训练第二回归器以预测第二估计的质量分数，和/或

通过第二回归器预测第二多个质量分数的第二估计的质量分数；

其中：

第二估计的质量分数基于所述新数据集以及所述超参数配置；

选择第二多个不同的超参数配置中的所述最佳超参数配置包括基于所述多个质量分数中的所述最佳质量分数和所述第二多个质量分数中的所述最佳质量分数来选择。

6.如权利要求5所述的方法，其中基于所述多个质量分数中的所述最佳质量分数和所述第二多个质量分数中的所述最佳质量分数的选择包括所述多个质量分数中的所述最佳质量分数和具有可调节权重的所述第二多个质量分数中的所述最佳质量分数的加权平均，所述可调节权重单调增加以有利于所述第二多个质量分数中的所述最佳质量分数。

7.如权利要求1所述的方法，其中所述多个不同的超参数配置中的至少一个配置包括：针对一个或多个超参数中的每一个超参数的相应随机生成的值和/或默认值。

8.如权利要求1所述的方法，其中在随机下降期间生成所述多个不同的超参数配置中的至少一个配置。

9.如权利要求1所述的方法，其中所述多个数据集元特征包括：

所述训练数据集中示例的计数，

所述训练数据集中示例的特征的计数，

所述训练数据集中特征的值的统计矩，

所述训练数据集中的第一特征和所述训练数据集中的标签或第二特征之间的互信息。