[发明专利]机器学习和深度学习模型的基于梯度的自动调整

权利要求书

1.一种用于实现算法计算机的方法，包括：

在所述算法计算机中维护查找表，所述查找表将每个已访问过的超参数元组映射到该超参数元组的已知分数；

对于多个超参数中的不是类别型超参数的每个特定超参数，对于历元序列中的每个历元，通过以下操作来处理所述特定超参数：

a)对于多个超参数元组中的每个超参数元组：

使用所述超参数元组作为查找关键字以尝试从所述查找表检索已知分数；

如果未从所述查找表检索到已知分数，则基于所述超参数元组计算分数并在所述查找表中将所计算的分数映射到所述超参数元组，其中：

所述超参数元组包含不同的多个值，

所述不同的多个值中的每个值被包含在多个超参数中的不同超参数的当前值范围中，并且

所述多个超参数元组的属于同一超参数的所有值具有相同值并且在所述历元期间保持恒定，除非所述同一超参数是所述特定超参数；以及

如果从所述查找表检索到已知分数，则将检索到的分数用于所述超参数元组，而不冗余地基于所述超参数元组来计算分数；

b)根据将基于所述分数的第一线与基于所述分数的第二线的交点识别为近似峰值，来缩小所述特定超参数的当前值范围；基于所述多个超参数的当前值范围配置和训练机器学习算法。

2.如权利要求1所述的方法，其中，所述计算所述分数包括：当所述分数超过与所述特定超参数相关联的最佳超参数分数时，更新与所述特定超参数相关联的最佳超参数值和所述最佳超参数分数。

3.如权利要求2所述的方法，其中，属于所述同一超参数的所述相同值是先前历元中的与所述特定超参数相关联的所述最佳超参数值。

4.如权利要求2所述的方法，还包括在所述每个历元的末尾处：

基于与所述多个超参数中的所述每个超参数相关联的所述最佳超参数值来计算分数；

当所述分数超过与所述多个超参数中的所述每个超参数相关联的所述最佳超参数分数时，更新与所述多个超参数中的所述每个超参数相关联的所述最佳超参数值和所述最佳超参数分数。

5.如权利要求1所述的方法，其中，对于历元序列中的每个历元，包括：当对所述历元的最佳超参数分数的改善超过阈值时：

对于所述多个超参数中作为类别型超参数的每个类别型超参数，通过以下操作来处理所述特定超参数：

对于第二多个超参数元组中的每个超参数元组，基于该超参数元组计算分数，其中：

该超参数元组包含不同的多个值，

所述多个超参数元组的属于同一超参数的所有值具有相同的值，除非所述同一超参数是所述类别型超参数，

所述多个超参数元组的属于所述类别型超参数的所有值具有不同的值。

6.如权利要求1所述的方法，其中，对于所述多个超参数，所述对于每个特定超参数同时发生。

7.如权利要求1所述的方法，其中：

所述多个超参数元组包括超参数元组的第一子集和超参数元组的第二子集；

所述第一子集的属于所述特定超参数的所有值在所述特定超参数的所述当前值范围内均等地间隔开；

对于所述第一子集的每个均等地间隔开的超参数元组，第二子集包含共线超参数元组，自属于所述特定超参数的该均等地间隔开的超参数元组的值起，所述共线超参数元组与该均等地间隔开的超参数元组相差仅预定义的量。

8.如权利要求7所述的方法，其中：

第一线包含第一点和第二点；

第二线包含第三点和第四点；

第一点基于所述第一子集的具有最佳分数的第一超参数元组；

第二点基于所述第一超参数元组的共线超参数元组；

第三点基于所述第一子集的具有第二最佳分数的第二超参数元组；

第四点基于所述第二超参数元组的共线超参数元组。

9.如权利要求8所述的方法，其中，缩小所述特定超参数的当前值范围还基于所述第一线的特定点。