[发明专利]一种云环境下的深度学习训练资源配置预测方法

说明书

本发明设计了一种云环境下深度学习训练资源参数配置方法，参数包含了批尺寸参数、资源供给量和迭代轮次数。该方法包括：采集模型训练过程中的每轮次性能指标；使用保序回归方法对批尺寸参数、资源供给量、迭代轮次数以及训练数据规模与训练耗时和训练精度之间的数学关系建立模型；依照云环境下深度学习模型训练成本及精度要求构建约束关系；使用最优搜索算法寻找合适的参数配置；最后按照参数配置进行模型训练。实验证明本发明方法可以有效减少深度学习模型训练时间成本并达到预设训练精度，最终满足训练要求。

技术领域

本发明属于云平台数据处理技术领域，具体涉及基于云平台的深度学习模型训练参数设置与资源供给的协同设置方法。

背景技术

深度学习是机器学习研究的一个分支，其借鉴人脑结构，使用特征组合、特征离散化等非线性操作对数据不断地训练来获取更高抽象程度的数据特征构建多层神经网络。分布式深度学习是一系列算法和系统的综合，它被设计用于增强模型训练性能、提高模型预测精度。云计算环境是目前深度学习计算平台的主要部署环境。在云环境下的分布式训练，不仅可以通过增加计算节点的数量来抵消不断增长的数据体量，也避免了将数据收集到单个节点进行集中处理所产生的性能瓶颈。其中被训练的深度学习神经网络包含有传统神经网络的分层结构特征。不同之处在于，深度学习神经网络具有更多的网络节点，并且引入了更复杂高效的算法。

一般来说，训练深度学习神经网络是一个对计算资源异常敏感的过程，资源的配置对训练效率的影响更是明显，此为训练资源。同时，在云计算环境中模型训练通常将训练数据分成若干个包含有多个样本的小批量数据子集，模型训练作业通过若干个工作节点并行进行多轮次的迭代计算直至模型参数达到要求，此为批尺寸参数。实验可证明，批尺寸参数与资源配置的改变对模型训练过程耗时以及模型的预测精准度都有影响。

深度学习计算平台中提供了资源使用量和批尺寸参数的设置用来改善模型训练的执行效率。用户在进行模型训练时可以利用历史经验直观地人工设定，或者通过反复尝试来找到一组合适的资源配置。但是，试错的方法费时费力。同时，决定分配给定作业的参数配置需要知道对应作业的特性，没有足够的经验是很难估计准确的。随着模型训练作业的持续运行，静态设置的弊端就会显现出来，其不确定性既会给使用者带来不便，也不利于计算资源的高效利用。参数的设定不当会导致计算无法按照预期完成。因此，在深度学习模型训练过程中，正确设置参数是为了在计算效率和资源容量之间寻找到最佳平衡。

发明内容

本发明针对云计算环境中运行的深度学习模型训练作业，在分析了模型训练的执行过程以及运行机制后，提出一种参数配置和资源供给协同分配的性能预测方法。此方法在预测精度以及运行时间的约束条件下，结合作业所在的计算资源环境，预测一次指定训练作业需要设置的资源使用量、批尺寸数值以及迭代轮次。以提高模型训练效率，节约计算资源使用成本。本方法首先分析批尺寸参数、资源供给、迭代轮次和训练数据集大小与训练耗时和训练精度之间的关系，然后利用多维保序回归方法对上述因素构建性能模型，然后按照最小化时间成本和最大化训练精度的约束使用启发式算法进行参数组合的搜索，得到参数配置方案。通过本发明，能够保证模型训练作业在有限时间内有效利用云环境内的计算资源，高效执行训练并获得满足要求的模型精度，提高模型训练执行效率。

本发明所述方法分为四个步骤：初始化、性能模型建模、启发式搜索、设置模型训练。

上述方法在计算机上按以下步骤实现：

(1)初始化