[发明专利]一种深度学习模型的运行方法、装置、电子设备及介质

说明书

本申请提供了一种深度学习模型的运行方法、装置、电子设备及介质，其中，该方法包括：获取深度学习模型中各个算子之间的逻辑关系；根据各个算子之间的逻辑关系，调整所述深度学习模型中各个算子的运行时间，以使所述调整后的深度学习模型中，至少两个逻辑关系相连续的算子的运行总时长被延长；按照所述调整后的所述深度学习模型中各个算子的运行时间，运行所述深度学习模型。采用本申请所提供的方案可以在不降低模型复杂度和优化模型算子底层代码的情况下，实现降低CPU负载的目的。

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种深度学习模型的运行方法、装置、电子设备及介质。

背景技术

目前，随着人工智能的蓬勃发展，越来越多的深度学习模型被部署在智能设备上，例如人脸识别模型、目标检测模型、目标追踪模型。OCR(Optical Character Recognition，光学字符识别)模型等。在智能设备上运行深度学习模型时会占用较多的CPU资源，从而带来不小的CPU负载，导致整个深度学习模型的运行过程出现卡顿或运行不准确的问题，严重的甚至会对智能设备的系统带来不良影响。

针对上述问题，现有技术提出了以下两种技术方案：

技术方案一：通过降低模型复杂度来降低运行深度学习模型时的CPU负载，常见的手段包括模型压缩和模型裁剪。对于复杂度越低的模型，在运行时常常会占用越少的CPU资源，从而降低CPU负载，但是深度学习模型的低复杂度往往以牺牲模型的精度为代价。真实的AI应用场景中对深度学习模型的精度有较高的要求，而采用该方案常常难以满足应用要求。

技术方案二：通过优化深度学习模型算子底层代码的实现来降低运行时的CPU负载。该方案的实现对开发者的技术要求高，且需要花费较多时间用于底层代码优化，但难以保证优化后的效果。同时，智能设备多种多样，涉及的CPU架构也各有不同。在某一种CPU上的优化方案，对其他CPU不具有通用性。综上，采用该方案在实际应用时十分复杂、易用性较低。

发明内容

有鉴于此，本申请的目的在于提供一种深度学习模型的运行方法、装置、电子设备及介质，可以在不降低模型复杂度和优化模型算子底层代码的情况下，实现降低CPU负载的目的。

根据本申请的第一方面，提供一种深度学习模型的运行方法，包括：

获取深度学习模型中各个算子之间的逻辑关系；

根据各个算子之间的逻辑关系，调整所述深度学习模型中各个算子的运行时间，以使所述调整后的深度学习模型中，至少两个逻辑关系相连续的算子的运行总时长被延长；

按照所述调整后的所述深度学习模型中各个算子的运行时间，运行所述深度学习模型。

在一种可能的实施方式中，根据各个算子之间的逻辑关系，调整所述深度学习模型中各个算子的运行时间，以使所述调整后的深度学习模型中，至少两个逻辑关系相连续的算子的运行总时长被延长，包括：

针对至少一个目标算子对，在该目标算子对中的两个算子之间设置预定的延迟时间，以使该目标算子对的运行总时长被延长；所述目标算子对中的两个算子是逻辑关系相连续的两个算子，所述延迟时间用于表征目标算子对中的两个算子的执行间隔时间。

在一种可能的实施方式中，通过以下步骤确定所述目标算子对中的两个算子的延迟时间：

针对所述目标算子对，根据该目标算子对中的前一个算子的计算量确定该目标算子对中的两个算子的延迟时间。

在一种可能的实施方式中，通过以下步骤确定每个算子的计算量，包括：

针对每个算子，获取该算子在运行时所需的计算参数；所述计算参数包括以下的任意一种或多种：调用的计算单元数量、计算单元的调用次数；

基于每个算子在运行时所需的计算参数，确定该算子的计算量。