[发明专利]一种基于Airflow的模型训练调度方法及装置

说明书

本发明公开了一种基于Airflow的模型训练调度方法及装置，其中该方法包括：确定多个模型训练任务；确定多个服务器节点任务；确定每一所述服务器节点任务对应的子级工作流；每一所述子级工作流中均包括有同一个模型调度函数；所述模型调度函数用于在所述子级工作流存在处理空闲时，为所述子级工作流从所述多个模型训练任务中确定出当前可进行的目标模型训练任务，并根据所述目标模型训练任务为所述子级工作流生成对应的训练节点任务；执行所有所述服务器节点任务对应的子级工作流以完成所述多个模型训练任务。可见，本发明能够在任一工作流存在处理空闲时为其分配模型训练任务，有利于充分利用算法资源，提高模型调度的灵活性。

技术领域

本发明涉及智能物流技术领域，尤其涉及一种基于Airflow的模型训练调度方法及装置。

背景技术

Airflow是一个基于Python语言的数据处理任务调度和监控工作流的平台，可以用于支撑算法模型的前置离线数据处理等任务。同时，模型训练任务的调度方案也可以基于Airflow实现。现有的技术中在利用Airflow进行多个模型任务训练调度时，常常使用数据并行的方式进行调度。对于服务器集群来说，数据并行需要提前指定好哪些模型任务在哪台服务器上排队，这种方式需要提前设计，且一个队列跑完不能自动分配其他队列的剩余模型，从调度整体上看不够灵活，且无法根据服务器空闲程度灵活动态分配模型，从而无法充分利用算力资源。可见，现有技术存在缺陷，亟待解决。

发明内容

本发明所要解决的技术问题在于，提供一种基于Airflow的模型训练调度方法及装置，能够在任一工作流存在处理空闲时为其分配模型训练任务，进而在模型调度中实现了模型并行，有利于充分利用算法资源，提高模型调度的灵活性。

为了解决上述技术问题，本发明第一方面公开了一种基于Airflow的模型训练调度方法，所述方法包括：

确定多个模型训练任务；

确定多个服务器节点任务；

确定每一所述服务器节点任务对应的子级工作流；每一所述子级工作流中均包括有同一个模型调度函数；所述模型调度函数用于在所述子级工作流存在处理空闲时，为所述子级工作流从所述多个模型训练任务中确定出当前可进行的目标模型训练任务，并根据所述目标模型训练任务为所述子级工作流生成对应的训练节点任务；

执行所有所述服务器节点任务对应的子级工作流以完成所述多个模型训练任务。

作为一种可选的实施方式，在本发明第一方面中，所述确定多个服务器节点任务，包括：

确定父级工作流以及对应的父级工作流参数；所述父级工作流中包括多个服务器节点任务；所述父级工作流参数中包括父级并行度参数，所述父级并行度参数用于指示所述父级工作流中可以同时执行的节点任务的数量。

作为一种可选的实施方式，在本发明第一方面中，所述确定每一所述服务器节点任务对应的子级工作流，包括：

确定每一所述服务器节点任务对应的子级工作流以及对应的子级工作流参数；所述子级工作流参数中包括子级并行度参数，所述子级并行度参数用于指示所述子级工作流中可以同时执行的节点任务的数量。

作为一种可选的实施方式，在本发明第一方面中，所述子级工作流中还包括统计节点任务，用于记录所述子级工作流已经执行的所述训练节点任务对应的所述模型训练任务。

作为一种可选的实施方式，在本发明第一方面中，所述确定每一所述服务器节点任务对应的子级工作流以及对应的子级工作流参数，包括：

确定多个服务器节点对应的预设工作参数；所述预设工作参数包括并行度参数；

在所述父级工作流中遍历所有所述服务器节点，根据每一所述服务器节点对应的预设工作参数，为每一服务器节点对应的服务器节点任务生成对应的子级工作流和子级工作流参数。