[发明专利]机器学习模型超参数的调优方法

权利要求书

1.机器学习模型超参数的调优方法，其特征在于：所述方法具体过程为：

步骤一、给定数据集D，机器学习模型A，n个超参数PN＝{P₁，P₂,…，P_n}和整数N；

其中机器学习模型A为决策树分类模型，数据集D为分类数据集，数据集结构为：特征值+目标值；

所述分类数据集为鸢尾属植物数据集；

鸢尾属植物数据集特征值为：花萼长度，花萼宽度，花瓣长度，花瓣宽度；

鸢尾属植物数据集目标值为：植物类别标签；

构建已知经验信息{λ_i,f(λ_i,A,D)|i＝1,2,…,N/2,λ_i∈Λ_PN},记为ExpInfo；

式中，λ_i为机器学习模型A的超参数配置，f(λ_i,A,D)为当超参数配置为λ_i时机器学习模型A在数据集D上的性能评分，N为步骤一至步骤六所需测试的超参数配置总数，i为测试的超参数配置的编号，Λ_PN为超参数配置的搜索空间；

表示超参数P_i的取值范围；

从Λ_PN中随机选取N/2个超参数配置进行评估，并将评估信息存入ExpInfo中；

所述评估使用十折交叉验证法进行评估，利用数据集D验证模型A在给定超参数配置下的得分；

所述评估信息具体为：N/2组超参数配置及该配置的得分信息；

N/2组超参数配置为N/2组λ,f(λ,A,D)信息，其中λ为选取的N/2组超参数配置；

步骤二、将已知经验信息ExpInfo转化为分类数据集；

步骤三、利用随机森林算法从所有超参数PN中挑选出关键超参数，记为KeyPars；

步骤四、利用KeyPars推测出Num组最优超参数配置，记为ExpNew；

步骤五、评估ExpNew中的超参数配置并将评估后的ExpNew中的超参数配置加入到已知经验信息ExpInfo中，更新已知经验信息ExpInfo；

步骤六、重复执行步骤二至步骤五t次，最后输出已知经验信息ExpInfo中最佳的超参数配置推荐给用户，已知经验信息ExpInfo中最佳的超参数配置记为λ^*。

2.根据权利要求1所述机器学习模型超参数的调优方法，其特征在于：所述步骤一中评估使用十折交叉验证法进行评估，利用数据集D验证模型A在给定超参数配置下的得分；具体过程为：

A为决策树分类模型，D为分类数据集，利用十折交叉验证法将D划分为10组测试集和10组验证集，使用测试集训练A，并利用验证集测试A的分类准确性，进行10轮后即得到10个分类准确性值，最终取10个准确性值的平均数，作为A在给定超参数配置下的得分。

3.根据权利要求1或2所述机器学习模型超参数的调优方法，其特征在于：所述步骤二中将已知经验信息ExpInfo转化为分类数据集；具体过程为：

步骤二一、对ExpInfo中的超参数配置λ_i的得分由大到小进行排序；

步骤二二、将排序后的超参数配置λ_i均分为三类：

高性能超参数配置，标记为3；

中性能超参数配置，标记为2；

低性能超参数配置，标记为1；

这样，ExpInfo中的每个超参数配置都有一个与其性能相关的类别标签，假设lab_j表示λ_j对应的标签值，则ExpInfo转化为一个分类数据集：{λ_j,lab_j|j＝1,2,…,|Expinfo|}，记为ExpInfoClass；

式中，|ExpInfo|为ExpInfo中超参数配置个数，j为超参数配置的下标，λ_j表示ExpInfo中的第j个超参数配置。