[发明专利]深度学习模型的资源使用情况预测

说明书

根据本公开的实现，提出了一种用于预测深度学习模型的资源使用情况的方案。在该方案中，与深度学习模型有关的信息被获取。该信息包括用于描述深度学习模型的第一信息、以及与深度学习模型所关联的任务的运行环境有关的第二信息。该任务的静态资源使用情况基于第一信息被确定。该任务在运行环境中运行时的策略基于第一信息和第二信息被确定。然后，基于该策略和静态资源使用情况来预测该任务在运行环境中运行时的资源使用情况。该方案能够准确地预测深度学习模型在特定运行时策略下的各种资源的使用情况，诸如算力消耗、存储器消耗和执行时间等。此外，该方案具有可扩展架构，便于支持各种不同类型的深度学习框架。

背景技术

近年来，深度学习在信息技术行业变得非常流行，并且正在改变人们的生活。了解深度学习任务在其整个生命周期中的准确资源使用情况对于提高生产效率至关重要。如果能够准确地预测深度学习任务的资源使用情况，则深度学习开发人员可以预先选择最佳模型参数，以避免由于资源不足而导致的故障，并且在资源限制的情况下获得最佳模型性能。此外，如果能够准确地预测深度学习任务的资源使用情况，则可以通过动态调整深度学习任务的执行计划来确保深度学习任务在给定的服务水平协议(SLA)下完成(例如，满足给定的时间或预算要求)。

发明内容

根据本公开的实现，提出了一种用于预测深度学习模型的资源使用情况的方案。在该方案中，与深度学习模型有关的信息被获取。该信息包括用于描述深度学习模型的第一信息、以及与深度学习模型所关联的任务的运行环境有关的第二信息。该任务的静态资源使用情况基于第一信息被确定。该任务在运行环境中运行时的策略基于第一信息和第二信息被确定。然后，基于该策略和静态资源使用情况来预测该任务在运行环境中运行时的资源使用情况。该方案能够准确地预测深度学习模型在特定运行时策略下的各种资源的使用情况，诸如算力消耗、存储器消耗和执行时间等。此外，该方案具有可扩展架构，便于支持各种不同类型的深度学习框架。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开的多个实现的计算设备的框图；

图2示出了根据本公开的实现的用于预测深度学习模型的资源使用情况的示例系统的框图；

图3A示出了深度学习模型的训练任务的示例程序代码；

图3B示出了根据本公开的实现的与深度学习模型的训练任务对应的示例计算图；

图3C示出了前向传播过程中的卷积运算符所对应的深度神经网络代码库中的示例代码；以及

图4示出了根据本公开的实现的用于预测深度学习模型的资源使用情况的示例方法的流程图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。