[发明专利]一种混合群体智能的深度学习模型超参数优化方法

说明书

本发明公开了一种混合群体智能的深度学习模型超参数优化方法，包括：选取深度神经网络搭建软件缺陷预测模型；初始化混合狼群算法参数；更新个体极值和群体极值；判断是否满足算法停止条件；更新每个粒子的速度和位置；求出更新后的位置上的适应值；求出更新后的头狼的最优适应值和最优的位置；更新探狼位置后更新头狼；更新猛狼位置；更新当前位置上的猛狼的适应值；计算进入围攻狼的更新位置；舍弃最差的R匹狼；计算R匹狼的适应值；得到模型的评价指标。本发明将混合算法用于深度学习模型超参数优化之中，能够快速且高效地向最优解逼近，可以很好地解决多个局部解和全局解的问题，具有更强的全局寻优能力，从而保证了模型预测的精度。

技术领域

本发明涉及深度学习模型超参数优化技术，具体涉及一种混合群体智能的深度学习模型超参数优化方法。

背景技术

超参数优化也称作超参数调整。深度学习的算法中包含了成千上百万的参数，这些参数有的可以通过训练来优化，例如神经网络中的权重等，我们称为参数，也有一部分参数不能通过训练来优化，例如学习率等，我们称为超参数。

在深度学习的算法中，超参数是用来调节整个网络训练过程的，例如神经网络的隐藏层的数量，核函数的大小，数量等等。不同的深度学习模型甚至是不同参数的同一种模型都有不同的适用范围和算法效果，因此，研究寻找合适的超参数优化方法是影响深度学习算法效果和效率的重要影响因素。调节超参数是必不可少的，这个过程可以更科学地训练出更高效的机器学习模型。

目前，超参数优化方法主要分为网格搜索，随机搜索和其他有方向性搜索。网格搜索可以保证在指定的参数范围内找到精度最高的参数，但是这也是网格搜索的缺陷所在，它要求遍历所有可能参数的组合，在面对大数据集和多参数的情况下，非常耗时，当涉及到多个超参数时，计算数量呈指数增长，并且这一方法并不能保证搜索会找到完美的超参数值。随机搜索不是尝试所有可能的组合，而是随机组合。它对每个超参数进行随机选择数值，在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果。这种方法本质上和网格搜索相似，只不过是参数与参数之间的差距变化是随机的且不一定相等，因此这种方法也是比较耗时的。总之，这两种搜索方法只是对参数进行排列组合，都属于暴力穷举搜索方式，因此必然会牺牲大量的时间和计算力，且也不能为后续更优的参数搜索指明寻优方向。

公开号为CN111160459A的专利《超参数的优化装置和方法》超参数的优化方法就是属于随机搜索的范畴，是通过自动地随机赋值来搜索表现最优的超参数，这种随机搜索只能处理低纬的超参数，否则庞大的计算量会消耗大量时间。公开号为CN112052932A的专利《超参数的调整方法及装置》是基于粒子群算法的群体方向性寻优方式进行超参数的优化，主要是通过粒子群的相互合作和信息共享来决定超参数的更新，因此这种基于群体智能算法的搜索方式可以避免网格和随机的盲目性问题，并且可以保证参数随着算法的运行而逐渐优化。虽然粒子群算法的收敛速度还可以，可以减少一些超参数寻优时间，但是粒子群算法很容易陷入局部最优解，因此在超参数优化这种拥有太多局部最优解的问题上粒子群算法的求解精度就不是很好。为了解决这个问题，文献《基于改进粒子群算法的深度学习超参数优化方法》研究使用改进的粒子群算法进行超参数优化，改进的思路是在发现算法可能处于停滞状态时及时调整算法，从而加快算法收敛速度，同时对全局最优增加扰动来避免算法陷入局部最优解。但是这种改进对算法的精度提高幅度不是很大，因为粒子群算法本身结构简单，仅使用一种更新方式也就无法保证粒子的寻优能力。

到目前为止，还没有一种专门用于深度学习模型超参数优化的混合群体智能算法。要实现超参数寻优又快又准，必须解决如下几方面问题：

1)超参数寻优是一个动态过程，网格和随机搜索只能组合不同参数，无法根据模型的训练状态来动态的选择和调整参数，让参数主动去逼近最优值，因此需要寻找适用于动态寻优的优化算法，如群体智能算法，实现模型选择和超参数优化的自动化的高效处理，减少暴力穷举搜索方式带来的时间和计算力成本；