[发明专利]用于管理深度学习加速器系统的功率的方法与装置

权利要求书

1.一种装置，包括：

功率管理器，所述功率管理器用于：

基于元数据来生成功率表以在加速器和存储器之间分配功率频率，所述元数据是通过编译第一工作负载以在所述加速器和所述存储器上执行而生成的，所述元数据指示所述第一工作负载中涉及所述加速器的计算任务和涉及所述存储器的带宽任务的比率；

基于对添加第二工作负载或移除所述第一工作负载的请求中的至少一者来更新所述功率表；并且

确定到所述功率表中的索引；以及

功率控制器，所述功率控制器用于：

基于所述功率表来确定功率消耗；

基于功率预算和所述功率消耗来确定是否更新所述索引；并且

根据所述功率表的所述索引处的功率频率来向所述加速器和所述存储器分配功率。

2.根据权利要求1所述的装置，还包括：所述存储器和所述加速器。

3.根据权利要求2所述的装置，其中，所述加速器是多个加速器中的一个加速器，所述存储器和所述多个加速器用于执行多个工作负载。

4.根据权利要求3所述的装置，还包括：工作负载管理处理器。

5.根据权利要求1所述的装置，其中，所述装置被实现为片上系统。

6.根据权利要求1所述的装置，还包括：编译器。

7.根据权利要求1所述的装置，其中，所述比率定义动态电压和频率缩放转变点。

8.根据权利要求1所述的装置，其中，所述工作负载包括人工智能工作负载。

9.根据权利要求8所述的装置，其中，所述人工智能工作负载用于实现深度学习神经网络中的一个或多个推理层。

10.根据权利要求1所述的装置，其中，所述功率控制器用于：响应于来自所述加速器的相对频率改变请求而调整对所述加速器的所述功率分配。

11.根据权利要求1所述的装置，其中，所述功率控制器用于：

当所述功率消耗高于所述功率预算时，使所述索引递减，并且

当所述功率消耗低于所述功率预算时，使所述索引递增。

12.根据权利要求1所述的装置，还包括：功率表存储器，所述功率表存储器用于存储所述功率表。

13.根据权利要求1所述的装置，其中，所述功率管理器包括：

功率管理处理器，所述功率管理处理器用于处理所述元数据；

功率表生成器，所述功率表生成器用于使用经处理的元数据来进行以下操作中的至少一者：生成或更新所述功率表；以及

索引确定器，所述索引确定器用于确定要提供给所述功率控制器的所述索引。

14.根据权利要求1所述的装置，其中，所述功率控制器包括：

消耗计算器，所述消耗计算器用于基于所述功率表来确定所述装置的功率消耗；

比较器，所述比较器用于将所述功率消耗与功率预算进行比较；以及

选择器，所述选择器用于基于所述索引以及所述功率消耗与所述功率预算的比较来选择所述功率表中的级别，以根据所述功率表的所选级别处的功率频率来向所述加速器和所述存储器分配功率。