[发明专利]一种机器学习超参数调节方法及系统

说明书

本发明公开了一种机器学习超参数调节方法及系统，涉及机器学习技术领域，本发明采用贝叶斯优化框架，通过初始观测集合由高斯过程生成先验概率模型，用混沌粒子群方法搜索下一个评估点，对新的评估点进行评估获取新评估点对应的观测值，通过更新观测集合来更新高斯过程概率代理模型，通过多次迭代搜索更新，获取最优超参数组合。本发明能够有效减少机器学习模型超参数调优的评估次数，并克服传统贝叶斯优化陷入局部最优点的缺陷，可以更准确和高效的进行超参数调优。

【技术领域】

本发明涉及机器学习技术领域，具体涉及一种机器学习超参数调节方法及系统。

【背景技术】

机器学习算法的性能高度依赖于超参数的选择，对机器学习超参数调优选择是一项繁琐但至关重要的任务。现有技术所采用的方法有手动调参方法，自动调参方法如网格搜索、随机搜索等方式，贝叶斯优化方法等。但是这些方式都存在着各种各样的问题：手动调参方法对经验的依赖性较强；自动调参方法由于浪费了时间去评估搜索空间中并不太可能找到最优点的区域导致效率较低；贝叶斯优化方法尽管将机器学习模型超参数调优的黑盒优化场景转为了概率代理模型，但求解结果容易陷入局部最优解，且求解结果往往依赖于初始值的选择。有鉴于此，需要有更准确和高效的方法来调优超参数。

【发明内容】

为解决前述问题，本发明提供了一种机器学习超参数调节方法，基于贝叶斯原理和混沌搜索，使机器学习算法模型训练结果最优化。

为了达到上述目的，本发明采用如下技术方案：

一种机器学习超参数调节方法，包括如下步骤：

步骤一：在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x₁,x₂,x₃,…,x_t}和其观测值Y＝{y₁,y₂,y₃,…,y_t}构成初始的观测集合D；

步骤二：在机器学习模型的超参数范围内随机采样初始的超参数粒子群X_group，并将超参数粒子群X_group中的每个粒子x_particle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群X_group中每个粒子x_particle的预测值y_particle，取粒子x_particle的预测值y_particle中的最优值所对应的粒子x_particle作为超参数粒子群X_group初始的群体最优值x_{group_best}；

步骤三：对超参数粒子群X_group进行混沌粒子群优化运动更新，更新超参数粒子群X_group，将新的超参数粒子群X_group中每个粒子x_particle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群X_group中每个粒子x_particle的新的预测值y_particle，以粒子x_particle的新的预测值y_particle中的最优值所对应的粒子x_particle更新群体最优值x_{group_best}；

步骤四：重复执行步骤三，直至达到预设的重复次数；