[发明专利]在限定硬件资源条件下的深度学习模型调度部署方法及系统

权利要求书

1.一种在限定硬件资源条件下的深度学习模型调度部署方法，其特征在于，包括：

步骤M1：获取深度学习推理任务中多个有依赖关系的阶段任务；

步骤M2：对多个阶段任务资源消耗分别进行评估；

步骤M3：对当前可用部署硬件资源进行评估；

步骤M4：从多个有依赖关系的阶段任务中选取当前可运行的阶段任务；根据当前可用部署硬件资源调度当前可运行的阶段任务并更新可用部署硬件资源评估，重复执行步骤M4，直至深度学习推理任务中所有的阶段任务均完成；

所述深度学习推理任务包括：将深度学习推理任务转换为任务组件、各个阶段组件和阶段状态组件；

所述任务组件是对深度学习推理任务进行抽象，任务组件由任务具体信息及任务执行逻辑组成，任务执行逻辑由输入输出前后相互有依赖关系的阶段组件组合而成，运行完成整个任务组件须按照依赖顺序依次执行各个阶段组件；

所述阶段组件是任务执行逻辑的拆分，包含阶段执行逻辑以及当前阶段的资源消耗估计；

所述阶段状态组件是任务组件按阶段组件分解后具体子任务的抽象，包含子任务具体信息、状态以及关联阶段组件，根据阶段组件运行依赖关系确定阶段状态组件状态初始值，并根据阶段状态组件状态将阶段状态组件传递到调度组件中；

所述调度组件是维护阶段状态组件状态池容器，存放各个阶段状态组件；

所述调度组件包括：根据阶段状态组件的状态，将调度组件状态池分为等待池、就绪池和完成池；当阶段状态组件的状态改变为等待、就绪或完成状态时，就将当前阶段状态组件从原状态池中去除放入相应的状态池中；

所述等待池是以哈希表形式实现的，将即将运行的阶段状态组件放入等待池；

所述就绪池是以多个队列形式实现的，将当前可运行的阶段状态组件放入就绪池；

所述完成池是以队列的形式实现，将已经执行完成的阶段状态组件放入完成池；

所述步骤M4包括：

步骤M4.1：获取调度组件就绪池中可运行的阶段状态组件；

步骤M4.2：基于处理组件当前可用资源评估和当前可运行的阶段任务资源消耗的评估，预设可运行的阶段组件的优先级及就绪池中存储时间，从就绪池取出合适的阶段状态组件，执行器组件对该阶段状态组件绑定运行所述处理组件调度运行；该过程会更新处理组件中估计和记录，重复执行步骤M4.2，直至当前可运行的阶段状态组件运行完成；

步骤M4.3：执行器调度运行的阶段状态组件完成后，更新阶段状态组件状态，调整调度组件中阶段状态组件，修改当前实时可用资源；重复执行步骤M4.1至步骤M4.3，直至所有任务组件的阶段状态组件均完成；

所述执行器组件提供实际运行阶段状态组件的执行方式；

所述阶段组件包括GPU型阶段组件和CPU型阶段组件；

执行器运行时，当阶段状态组件关联阶段组件为GPU型：

运行前绑定处理组件中相关推理模型必须已经加载并可提供服务；

当推理模型在运行时，该推理模型设置为不可服务状态，且从当前可用资源估计中减少模型运行显存消耗；当推理模型不再运行时，该推理模型设置为可服务状态，且向当前可用资源估计中增加模型运行显存消耗；

在运行前，检查处理组件关联的推理模型中是否存在当前可运行阶段组件对应的推理模型，且推理模型为空闲可服务状态，当存在时，则当前阶段组件使用该推理模型运行；当不存在时，则加载相应的推理模型，并将推理模型与处理组件进行关联，从当前可用资源估计中减少模型加载显存消耗；

在当前处理组件可用资源估计小于当前可运行阶段状态组件关联的阶段组件资源消耗评估时：删除当前处理组件中空闲可服务的推理模型并向当前处理组件可用资源估计中增加相应模型加载显存消耗。

2.根据权利要求1所述的在限定硬件资源条件下的深度学习模型调度部署方法，其特征在于，所述步骤M2包括：调度组件启动调度功能并启动运行状态统计组件对多个阶段任务资源消耗进行统计；

所述运行状态统计组件提供对每个阶段状态组件的执行时间、显存实际资源消耗情况进行统计，并根据当前统计信息对阶段组件资源估计信息进行动态修正。