[发明专利]一种深度学习训练中系统资源和模型超参协同优化的方法

说明书

本发明公开了一种深度学习训练中系统资源和模型超参数协同优化的方法。包括以下步骤：步骤1，设计一套针对深度学习训练中系统资源和模型超参协同优化问题的系统，步骤2,一次调参实验，步骤3，设计针对多目标场景的试验调度算法，步骤4，依据非支配层链表，设计针对多目标场景的试验调度算法，本发明所述方法的有益效果是：设计了一种面向深度学习训练中系统资源和模型超参数协同优化问题的系统，能够在给定超参搜索范围内找到一组近似最优超参数组合，在保证模型训练准确度的同时，最小化训练程序占用的系统资源，并具有应用于分布式计算场景的功能。

技术领域

本发明属于深度学习模型训练优化领域与超参数调优技术领域，尤其涉及一种深度学习训练中系统资源和模型超参数协同优化的方法。

背景技术

目前，深度学习技术在多个领域迅速发展并取得系列成功，例如自动驾驶、文本翻译、智能商品推荐且其底层技术的主体是一些人工神经模型，包含大量网络参数且能对输入数据进行复杂的数学计算并进行决策，为使模型获得较好决策能力，需要大量训练，以优化网络参数。神经网络的训练需要妥善分配系统资源与设置超参。网络训练需要耗费大量系统资源(如内存、CPU)以及时间。分配过少系统资源会降低训练效率；而分配过多系统资源不但无法获得有效提升，还造成了资源浪费，在多任务场景下将对其他任务造成妨碍。因此，系统资源的分配与训练效率之间需要权衡。此外，网络训练存在一些对训练效率造成直接影响的参数，即模型超参，需要在训练前指定，如学习率(learning rate)、批大小(batchsize)、期数(epoch)，不好的超参设置要拖慢训练，甚至可能使损失值无法收敛以致实验失败；而人为调参效率低且很难保证所选超参的质量。申请号为2013100158326的专利申请公开了一种三网协同优化的方法，包括：利用全球移动通信系统(GSM)的Abis信令信息，建立GSM小区的干扰矩阵，利用各个干扰矩阵建立GSM小区之间的业务关联度列表；根据业务关联度列表，对从GSM中选出的小区进行聚合计算得到GSM原子区域列表；将GSM原子区域列表与第一网络及第二网络关联得到原子区域列表，根据原子区域列表对三网业务进行协同优化。综上，目前大部分调参框架倾向于分别调整模型超参数与系统资源配置，其中隐含了两者之间几乎没有相互依赖的假设，如BoTorch、GPyTorch、Ax、Tune、Nevergrad，其专注于模型超参的优化，并没有考虑系统资源配置。Starfish、MRTuner则倾向于调整系统资源配置以最大程度减少作业执行时间。

发明内容

本发明的目的是提供一种深度学习训练中系统资源和模型超参协同优化的方法，本发明所述方法用于协同优化深度学习训练任务的模型超参和系统资源配置并能在给定超参搜索范围内找到一组近似最优超参数组合，以保证模型训练准确度的同时能够最小化训练程序占用的系统资源。

本发明所述方法包括以下步骤：

步骤1，设计一套针对深度学习训练中系统资源和模型超参协同优化问题的系统且系统包括以下7个模块：

(1)目标程序模块：目标程序模块为训练代码程序，在运行初始需要接收一组模型超参数来决定训练模型方法，例如学习率、批大小、期数，每一次迭代后，训练程序能选择性地进行验证并计算出模型在验证集中的准确率；

(2)系统资源分配模块：系统资源分配模块接收来自执行者程序的一组系统资源配置参数并为目标程序分配相应系统资源，当目标程序实际资源使用量超出分配量后，目标程序将强制退出；

(3)试验生成器模块：试验生成器模块根据实验配置中的超参数搜索范围通过使用用户指定的搜索算法选出超参数组合并封装成试验对象，不同搜索算法有不同的试验生成方式，例如网格或随机搜索算法在最初生成所有试验，贝叶斯搜索算法则需要先生成部分试验并待运行结束后依据试验反馈再生成接续试验；