[发明专利]深度学习模型的资源使用情况预测

权利要求书

1.一种计算机实现的方法，包括：

获取与深度学习模型有关的信息，所述信息包括用于描述所述深度学习模型的第一信息、以及与所述深度学习模型所关联的任务的运行环境有关的第二信息；

基于所述第一信息，确定所述任务的静态资源使用情况；

基于所述第一信息和所述第二信息，确定所述任务在所述运行环境中运行时的策略；以及

基于所述策略和所述静态资源使用情况，预测所述任务在所述运行环境中运行时的资源使用情况。

2.根据权利要求1所述的方法，其中所述第一信息包括所述深度学习模型的配置参数。

3.根据权利要求1所述的方法，其中所述第一信息包括以下至少一项：所述深度学习模型的模型文件；以及所述任务的程序代码。

4.根据权利要求1所述的方法，其中所述第二信息包括以下至少一项：

所述深度学习模型的框架类型；

所述运行环境中用于执行所述任务的计算设备的规格和数目；以及

所述任务在所述计算设备上的执行策略。

5.根据权利要求1所述的方法，其中所述资源使用情况包括以下至少一项：算力消耗；存储器消耗；I/O资源消耗；执行时间；以及功率消耗。

6.根据权利要求5所述的方法，其中所述资源使用情况包括基于所述算力消耗和所述存储器消耗中的至少一项而确定的其他资源消耗。

7.根据权利要求1所述的方法，其中确定所述静态资源使用情况包括：

基于所述第一信息，生成与所述深度学习模型相对应的计算图，所述计算图包括多个节点，所述多个节点对应于所述深度学习模型中的多个算子，连接所述多个节点的边缘指示所述多个算子之间的依赖关系；

基于所述计算图和所述多个算子的相应资源预测模型，预测所述多个算子的相应静态资源使用情况；以及

基于所述多个算子的相应静态资源使用情况，确定所述任务的所述静态资源使用情况。

8.根据权利要求1所述的方法，其中所述策略包括以下至少一项：

所述深度学习模型的资源分配策略；以及

所述任务在所述运行环境中的执行策略。

9.根据权利要求8所述的方法，其中预测所述任务在所述运行环境中运行时的所述资源使用情况包括：

基于所述资源分配策略和所述执行策略中的至少一项来调整所述静态资源使用情况，以得到所述任务在所述运行环境中运行时的所述资源使用情况。

10.根据权利要求1所述的方法，还包括：

利用经训练的机器学习模型，生成用于优化经预测的所述资源使用情况的参数；以及

基于所述参数，优化经预测的所述资源使用情况。

11.一种电子设备，包括：

处理单元；以及

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时，使得所述设备执行动作，所述动作包括：

获取与深度学习模型有关的信息，所述信息包括用于描述所述深度学习模型的第一信息、以及与所述深度学习模型所关联的任务的运行环境有关的第二信息；

基于所述第一信息，确定所述任务的静态资源使用情况；

基于所述第一信息和所述第二信息，确定所述任务在所述运行环境中运行时的策略；以及

基于所述策略和所述静态资源使用情况，预测所述任务在所述运行环境中运行时的资源使用情况。

12.根据权利要求11所述的设备，其中所述第一信息包括所述深度学习模型的配置参数。

13.根据权利要求11所述的设备，其中所述第一信息包括以下至少一项：所述深度学习模型的模型文件；以及所述任务的程序代码。