[发明专利]用于管理深度学习加速器系统的功率的方法与装置

说明书

公开了用于管理深度学习加速器系统的功率的方法与装置。示例装置包括功率管理器和功率控制器。功率管理器用于：基于第一工作负载中的计算任务和带宽任务的比率来生成功率表，以在加速器和存储器之间分配功率频率；基于对添加第二工作负载或移除第一工作负载的请求中的至少一者来更新功率表；并且确定到功率表中的索引。功率控制器用于：基于功率表来确定功率消耗；基于功率预算和功率消耗来确定是否更新索引；并且根据功率表向加速器和存储器分配功率。

技术领域

本公开总体涉及功率管理，并且更具体地，涉及管理深度学习加速器系统的功率。

背景技术

计算机硬件制造商开发用于在计算机平台的各种组件中使用的硬件组件。例如，计算机硬件制造商开发主板、用于主板的芯片组、中央处理单元(CPU)、硬盘驱动器(HDD)、固态驱动器(SSD)、以及其他计算机组件。此外，计算机硬件制造商开发被称为加速器的处理电路，以加速对工作负载的处理。例如，加速器可以由专用电路、集成电路、CPU、图形处理单元(GPU)、视觉处理单元(VPU)、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)来实现。

发明内容

根据本公开的实施例，提供了一种装置，包括：功率管理器，所述功率管理器用于：基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表；并且确定到所述功率表中的索引；以及功率控制器，所述功率控制器用于：基于所述功率表来确定功率消耗；基于功率预算和所述功率消耗来确定是否更新所述索引；并且根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。

根据本公开的实施例，提供了一种方法，包括：通过使用至少一个处理器执行指令，基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；通过使用所述至少一个处理器执行指令，基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表；确定到所述功率表中的索引；基于所述功率表来确定功率消耗；基于功率预算和所述功率消耗来确定是否更新所述索引；以及根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。

根据本公开的实施例，提供了一种装置，包括：存储器，所述存储器包括机器可读指令；以及至少一个处理器，所述至少一个处理器用于执行所述指令以执行以下操作：基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表；确定到所述功率表中的索引；基于所述功率表来确定功率消耗；基于功率预算和所述功率消耗来确定是否更新所述索引；以及根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。

根据本公开的实施例，提供了一种设备，包括：用于基于元数据来生成功率表以在加速器和存储器之间分配功率频率的装置，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；用于基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表的装置；用于确定到所述功率表中的索引的装置；以及用于通过执行以下操作来使用所述功率表在所述加速器和所述存储器之间分配功率以执行所述第一工作负载的装置：基于所述功率表来确定功率消耗；基于功率预算和所述功率消耗来确定是否更新所述索引；以及根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。

附图说明