[发明专利]在限定硬件资源条件下的深度学习模型调度部署方法及系统

说明书

本发明提供了一种在限定硬件资源条件下的深度学习模型调度部署方法及系统，包括：步骤M1：获取深度学习推理任务中多个有依赖关系的阶段任务；步骤M2：对多个阶段任务资源消耗分别进行评估；步骤M3：对当前可用部署硬件资源进行评估；步骤M4：从多个有依赖关系的阶段任务中选取当前可运行的阶段任务；根据当前可用部署硬件资源调度当前可运行的阶段任务并更新可用部署硬件资源评估，重复执行步骤M4，直至深度学习推理任务中所有的阶段任务均完成。本发明实现不同部署环境计算资源的高效适配，后续推理模型变更的灵活适配。

技术领域

本发明涉及深度学习模型的调度和部署技术领域，具体地，涉及在限定硬件资源条件下的深度学习模型调度部署方法及系统。

背景技术

随着计算机硬件的提升与深度学习领域的快速发展，各种神经网络模型被应用与生命健康，零售，工业等各个领域。深度学习模型的成功应用于商业领域依赖于多个环节，除了模型训练之外，通常还需要将训练好的模型针对使用场景进行优化和部署。用户向部署好的模型传入数据，在输入数据经过模型推理运算后，用户得到对应的输出结果。

为优化模型推理过程，各种方便于工业部署的模型推理引擎也陆续被开发出来。Nvidia公司推出了针对nvidia GPU进行优化的模型推理引擎Triton。其优势在于对多模型服务部署的支持与针对nvidia GPU的优化。但其无法实现在有限计算资源条件下，对部署的多模型按推理任务的特征进行有效的调度。

Intel公司推出的针对Intel硬件拓展的卷积神经网络模型推理引擎OpenVINO等。其优势在于对Intel硬件的拓展的支持以及针对卷积神经网络模型推理的优化。

各个深度学习框架如tensorflow，pytorch，mxnet等也都推出了适用于自身框架模型或通用模型的推理部署工具。这些工具的优点在于完美兼容通过框架所构建出的模型，对多模型部署没有特殊的优化。

这些现有工具和引擎采用的推理优化方法的抽象方式、执行方法和具体参数均与本次提出的方法有比较大区别。这些引擎及工具的优化方向更着重于针对自身硬件或框架本身，无法实现在有限计算资源条件下，对部署的多模型按推理任务的特征进行有效的自动加载卸载以及合理调度方面的优化。在现有医疗影像识别场景下，整体业务流程由多个包含复杂依赖关系的大规模深度模型推理任务共同完成，包含前处理，模型推理以及后处理等多个模块，占用显存较多，依赖关系复杂。因为GPU显存有限并难以扩容，使得整体推理任务受显存制约，推理过程时间较长。当前大部分已有推理部署引擎虽然可以实现同时部署多个模型服务，然而在显存限制条件下，不能够根据模型推理运行时的资源消耗情况合理地调度模型推理任务，不能对计算资源进行精细控制。本发明提供了一个深度学习模型部署方法，可以在相对有限的计算资源环境下，对有复杂依赖关系的多模型推理进行高效的调度部署。

专利文献CN111966485A(申请号：202010612526.0)公开了计算资源的调度方法、装置、电子设备以及存储介质，涉及资源调度、人工智能、深度学习技术领域。具体实现方案为：获取待调度应用程序中的多个算法模型和多个算法模型之间的逻辑关系；获取算法模型的特性；根据相邻两个算法模型之间的逻辑关系确定相邻两个算法模型之间的数据流量；获取计算资源池中多个计算资源的指标；根据算法模型的特性、相邻两个算法模型之间的数据流量和计算资源的指标，从多个计算资源中选择出与算法模型匹配的计算资源，并确定为目标计算资源；以及将算法模型部署到匹配的目标计算资源上。本发明区别于该专利根据指标选择匹配的计算资源去部署，本发明单个计算资源中会灵活运行多个阶段任务，而不是限定部署资源中运行某个阶段任务，优化的层级不同。优化的层次不同，进一步表明本发明在部署后仍然有资源中运行阶段/模型的调度灵活性，而非限定某个资源运行某个模型。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种在限定硬件资源条件下的深度学习模型调度部署方法及系统。

根据本发明提供的一种在限定硬件资源条件下的深度学习模型调度部署方法，包括：