[发明专利]机器学习模型超参数的调优方法

说明书

机器学习模型超参数的调优方法，本发明涉及超参数的调优方法。本发明的目的是为了解决现有超参数优化调优方法准确率低、效率慢，费用高的问题。过程为：一、构建已知经验信息；从Λsubgt;PN/subgt;中随机选取N/2个超参数配置进行评估，并将评估信息存入ExpInfo中；二、将已知经验信息转化为分类数据集；三、从所有超参数中挑选出关键超参数；四、利用KeyPars推测出Num组最优超参数配置；五、评估ExpNew中的超参数配置并更新已知经验信息；六、重复执行二至五t次，最后输出已知经验信息中最佳的超参数配置推荐给用户。本发明用于超参数的调优领域。

技术领域

本发明涉及超参数的调优方法。

背景技术

超参数是机器学习模型里面的框架参数，比如聚类算法里类的个数，或者神经网络模型里学习率和滤波器的大小，都称为超参数。它们跟训练过程中学习得到的参数(权重)不同，无法从数据里面得到，通常需要靠手工设定，不断试错调整。超参数的选择对机器学习模型最终的效果有极大的影响。比如，复杂的神经网络模型可能有更好的表达能力来处理不同类别的数据，但也可能因为层数太多导致梯度消失无法训练，又如其学习率过大可能导致收敛效果差，过小又可能导致收敛速度过慢。为了显著减少机器学习所耗费的人力需求，同时有效提升机器学习算法的性能，人们定义了超参数调优问题进行深入研究。

给定数据集D，机器学习模型A和n个超参数PN＝{P₁，...，P_n}，超参数调优(Hyperparameter Optimization，HPO)问题旨在找到n个超参数的最佳配置，从而使得模型A在数据集D中的性能最大化。机器学习模型超参数调优一般认为是一个黑盒优化问题(大部分模型超参数符合这个场景)，即在调优过程中只看到模型的输入和输出，无法获取模型训练过程的梯度信息，也无法假设模型超参数和最终指标符合凸优化条件。否则，就可以直接通过求导或者凸优化方法得到最优解。此外，模型的参数评估代价通常十分昂贵，一组超参数通常要训练一个模型需要几分钟、几小时、几天甚至几个月的时间，无法通过快速计算获取大量样本。因此需要非常准确和高效的方法来调优超参数。

鉴于超参数调优问题的重要性及复杂性，目前已有较多的算法来解决复杂的超参数调优问题，如网格搜索(Grid Search)，随机搜索(Random Search)，贝叶斯优化(Bayesian Optimization)，进化算法以及强化学习，这些方法大多是基于在配置空间中大量的搜索或反复的迭代优化后找到模型所需的较好的超参数，进而提升机器学习算法的性能。

最开始为了找到一个好的超参数，通常都是靠人工试错的方式找到最优超参数。但是这种方式效率太慢，所以相继提出了网格搜索和随机搜索。但是这两种方法总归是盲目地搜索，所以贝叶斯优化算法，和基于进化算法以及强化学习的超参数调优算法闪亮登场。这些算法能很好地吸取之前的超参数的经验，更快更高效地最下一次超参数的组合进行选择。但是它们存在一些不足，具体如下：对于具有未知平滑度和有噪声的高维、非凸函数，贝叶斯优化算法往往很难对其进行拟合和优化，而且通常贝叶斯优化算法都有很强的假设条件，而这些条件一般又很难满足。基于进化算法以及强化学习的超参数调优技术，它们假定在遍历了大量超参数配置后可以为用户提供一个表现优异的超参数配置结果，然而模型的参数评估代价通常十分昂贵，使用者通常无法承担大量配置评估所带来的高额花费。

已有超参数调优技术尚存在不足之处，我们克服了它们的缺陷，提出一种更为有效的方法来帮助用户在有限资源条件下快速的找到最佳超参数配置。

发明内容

本发明的目的是为了解决鸢尾属植物数据集分类准确率低的问题，而提出机器学习模型超参数的调优方法。

机器学习模型超参数的调优方法具体过程为：

步骤一、给定数据集D，机器学习模型A，n个超参数PN＝{P₁，P₂,…，P_n}和整数N；