[发明专利]一种深度学习中超参数的优化选取方法

摘要

本发明公开了一种深度学习中超参数的优化选取方法，其步骤为：定义n个待训练模型；定义函数eval以当前变化的模型参数θ的值来评估模型的优劣，随机选取数个θ的值,计算得出相应的eval(θ)；计算这些点中每一个点的均值和方差，再预估可能的使eval(θ|h)最大的θ取值；得到下一采样点后，计算eval(θ|h)；如果此时的step数满足预设条件则进入下一步骤，否则回到循环；计算当前所有并行计算模型的eval(θ|h)，并将其从大到小排序，定义优质及劣质；对每一个劣质模型进行淘汰操作；对每一个完成淘汰操作的劣质模型，立即进行进化操作；步骤完成后，回到循环。本发明在加快参数优化耗时的同时，可以有效减少资源消耗，并且可应对多超参数的情况。

主权项

1.一种深度学习中超参数的优化选取方法，其特征在于：所述方法的整体步骤为：步骤1、定义n个待训练模型；每个训练模型设置为一种超参数h的配置组合，利用并行计算，同时进行模型训练；步骤2、将模型训练过程中变化的模型参数记为θ；定义函数eval以当前θ的值来评估模型的优劣，eval(θ)越大表示模型越好，则模型学习的过程理解为求eval(θ|h)的最大值；对每个并行计算的模型，随机选取数个θ的值θ1、θ2...θm,计算得出相应的eval(θ1|h)，eval(θ2|h)...eval(θm|h)；其中(θ1，eval(θ1|h))(θ2，eval(θ2|h))(θm，eval(θm|h))构成的点称为先验点；假设这些点服从多变量高斯分布；步骤3、根据多变量高斯分布的性质，计算这些点中每一个点的均值和方差，再通过最大化收获函数来预估可能的使eval(θ|h)最大的θ取值；步骤4、得到下一采样点θt后，计算eval(θ|h)；若此时eval(θ|h)满足精度要求则结束所有的模型训练，输出此时的eval(θ|h)、θ、h；步骤3～4为一个循环，每进行一次循环称为该模型训练了一步，将训练步数记为step；步骤5、如果此时的step数满足预设条件则进入步骤6，否则回到循环进行步骤3；若此时的step达到预设的上限，则直接结束所有训练，输出所有模型eval(θ|h)中最大的θ、h；步骤6、计算当前所有并行计算模型的eval(θ|h)，并将其从大到小排序，选取前30％定义为优质，后30％定义为劣质；此处30％为经验参数，可根据实际情况做出调整；步骤7、对每一个劣质模型进行淘汰操作；步骤8、对每一个完成淘汰操作的劣质模型，立即进行进化操作；步骤9、完成步骤6～步骤8后，回到步骤3，进行下一个循环。