[发明专利]包括委托器的图形处理单元及其操作方法

权利要求书

1.一种配置为处理神经网络的图形处理单元GPU，所述GPU包括：

图形核心，被配置为运行多个内核；以及

委托器，基于所述多个内核之间的依赖性来连接多个内核的输入和输出，并且被配置为输出指示神经网络处理的结果的事件。

2.根据权利要求1所述的GPU，其中，所述委托器接收并且参考指示所述神经网络的层信息的神经网络数据。

3.根据权利要求1所述的GPU，其中，所述委托器生成存储所述多个内核当中的第一内核的运行结果数据的地址的间接管道，以及

其中，所述多个内核当中的第二内核访问并且参考存储所述第一内核的所述运行结果数据的地址的所述间接管道。

4.根据权利要求1所述的GPU，进一步包括配置为处理命令的命令处理器。

5.根据权利要求4所述的GPU，其中，所述命令处理器包括所述委托器。

6.根据权利要求4所述的GPU，其中，所述委托器由所述命令处理器运行。

7.根据权利要求5所述的GPU，其中，所述委托器被集成在所述命令处理器中，或被提供为与所述命令处理器分离的独立单元。

8.根据权利要求4所述的GPU，其中，所述命令处理器包括：

命令解释器，被配置为基于所述命令来确定是否需要神经网络处理；以及

分派器，被配置为根据所述命令调度任务的处理。

9.根据权利要求1所述的GPU，其中，所述委托器包括：

神经网络数据读取器，被配置为接收指示所述神经网络的层信息的神经网络数据；

事件监听器，被配置为接收指示多个内核中的每个的运行完成的内核事件；

间接管道管理器，被配置为基于所述神经网络数据来管理间接管道；

内核启动器，被配置为运行所述多个内核；以及

事件通知器，被配置为生成指示神经网络处理的完成的事件。

10.根据权利要求9所述的GPU，其中，所述间接管道管理器包括：

生命周期管理器，被配置为创建、更新和移除所述间接管道；以及

管道调度器，被配置为调整所述间接管道的处理顺序。

11.一种图形处理单元GPU的操作方法，所述GPU被配置为通过运行包括第一内核和第二内核的多个内核来处理神经网络，所述操作方法包括：

参考来自存储器的指示所述神经网络的层信息的神经网络数据；

基于所述神经网络数据生成数据结构；

运行所述第一内核；

监视指示第一内核运行的完成的内核事件；

响应于所述内核事件来更新所述数据结构；

基于所述神经网络数据来委托所述第一内核和所述第二内核；以及

输出指示所述神经网络处理的结果的事件。

12.根据权利要求11所述的操作方法，进一步包括请求所述第二内核的运行。

13.根据权利要求11所述的操作方法，其中，生成所述数据结构包括：

创建存储所述存储器中的区域的地址的间接管道，在所述存储器中的区域中存储所述多个内核中的每个的运行结果；以及

创建分别地存储所述多个内核中的每个的输入数据和输出数据的地址的所述多个内核中的每个的输入存储器对象和输出存储器对象。

14.根据权利要求13所述的操作方法，其中，生成所述间接管道包括基于所述神经网络数据预先创建与所述第一内核的依赖性相对应的间接管道中的至少一个。

15.根据权利要求13所述的操作方法，其中，更新所述数据结构包括将所述第一内核的运行结果数据的地址写到所述间接管道。