[发明专利]机器学习和深度学习模型的基于梯度的自动调整

说明书

在本文中，水平可伸缩技术高效地配置机器学习算法以实现最佳准确度而无需知悉的输入。在实施例中，对于每个特定超参数，并且对于每个历元，计算机处理所述特定超参数。历元基于超参数元组探索一个超参数。从每个元组计算相应的分数。元组包含值的不同组合，每个值被包含在不同超参数的值范围内。元组的属于特定超参数的所有值都是不同的。元组的属于其它超参数的所有值都保持恒定。根据基于分数的第一线和基于分数的第二线的交点来缩小特定超参数的值范围。根据重复缩小的超参数值范围，最佳地配置机器学习算法。调用经配置的算法以获得结果。

技术领域

本公开涉及机器学习。本文提出的是用于机器学习算法的高效配置的水平可伸缩技术，以实现最优准确度而无需知悉的输入。

背景技术

虽然机器学习(ML)的应用正变得无处不在，但数据科学专业知识可能仍将稀缺。诸如对于大型企业供应商及其企业客户，依靠数据科学家可能不是可持续的或可伸缩的。

ML建模涉及：

·选取合适的模型。

·将模型调整(tune)到给定的数据集，这是最耗时且特别的(ad-hoc)工作，其在很大程度上依赖于数据科学家的专业知识。

由于以下原因，模型调整是费力的。可能涉及大量的超参数(hyperparameter)，尤其是对于具有许多参数(诸如多个层或多个神经元)的深度神经网络模型，诸如多层感知器(MLP)或卷积神经网络(CNN)。

也许更重要的是，超参数可能具有广泛的可能值。实际值的选择可能会严重影响模型的性能，诸如测得的预测准确度。遗憾的是，超参数值的选择通常是特别的，并且在很大程度上取决于数据科学家的经验。

模型的训练时间通常很长，并且调整需要重新训练模型，并在每次调整会话中对其进行几次评估。面对这些挑战，工业界寻求通过针对给定的数据集和给定的ML算法(诸如神经网络或支持向量机(SVM))自动调整ML模型来提高效率。一种广泛使用的方法是穷举网格搜索(exhaustive grid search)，其中尝试每个超参数的可能值的所有组合，并使用最佳的超参数组合。

另一种流行的方法是贝叶斯优化(Bayesian optimization)。典型地，贝叶斯优化会为每个超参数分配先验分布。优化处理最初基于该分布选择超参数值，并且测量模型的性能。随后，基于所尝试的超参数值的观察到的性能，基于贝叶斯概率选择要探索的下一个最佳值，希望获得最优模型性能，并可能由目标函数来表示。遗憾的是，这些超参数调整(或自动调整)方法中的许多方法具有以下缺陷中的一个或多个：

·贝叶斯优化需要知悉的输入(informed input)。典型地，需要详细的参数分布信息以获得更好的模型性能。

·贝叶斯优化本质上是顺序的，并且很难以有意义的方式并行化。

·贝叶斯优化应用是特定于领域的。目标函数通常不是通用的，并且不容易推广到大型数据集、ML和深度学习模型。

用于优化超参数的其它替代方法包括随机搜索，其中每个超参数的给定统计分布被用于在选定数量的最大试验期间进行搜索。贝叶斯优化和随机搜索二者都需要详细的输入，并且通常不能保证找到最佳的值组合。尽管采用了最先进的技术，但即使使用了诸如GpyOpt Python库之类的最佳解决方案，贝叶斯优化仍然是缓慢的并且可能不准确。

附图说明

在附图中：

图1是描绘实施例中的示例计算机的框图，该示例计算机重复地缩小机器学习算法的超参数的值范围以发现对于配置该算法以进行训练而言最优的超参数值；

图2是描绘实施例中的示例计算机的框图，该示例计算机使用梯度搜索空间约减(gradient search space reduction)来估计超参数的分数值的曲线上的最优点；