[发明专利]一种面向分布式机器学习的云计算资源调度方法

摘要

本发明涉及一种面向分布式机器学习的云计算资源调度方法。通过历史数据建立迭代次数与模型质量提升间的模型，在线预测资源分配对模型质量提升的影响，制定资源分配策略，以达到在云计算平台运行的多个并发执行的模型训练任务的整体性能最大化的效果，从而提高资源利用率，快速适应任务和负载的动态变化。

主权项

1.一种面向分布式机器学习的云计算资源调度方法方法，其特征在于实现步骤如下：第一步，预测机器学习在将来的T时间内执行迭代次数为：f(r)=ar，其中，r是分配给任务的资源数量，a=T/(c×S)，S是每次迭代处理的数据量，c根据历史监测数据求解得到的常量，T是资源调整的周期；第二步，计算收益损失：Loss(r) =，其中，f(r)为迭代次数，, b, c为常数，可以通过历史迭代次数以及损失函数值计算得到；第三步，预测资源分配后得到的收益损失值变化为：，其中，aj为任务j分配的资源数量；第四步，将单位资源r分配给收益损失值变化最大的任务j，更新aj= aj + r，其中，aj为任务j分配的资源数量；第五步，在满足条件：，表示任务j分配资源aj总和不大于资源池中可分配资源的总量C下，重复第四步，从而达到，即在云计算平台并发执行的J个任务在将来T时间内的收益损失减少量最大化；第六步，根据以上计算结果，为每个任务分配资源。