[发明专利]拆分网络加速架构

权利要求书

1.一种用于在计算设备上加速机器学习的方法，包括：

将神经网络托管在第一推断加速器和第二推断加速器中，所述神经网络在所述第一推断加速器与所述第二推断加速器之间拆分；

直接在所述第一推断加速器与所述第二推断加速器之间路由中间推断请求结果；以及

从所述中间推断请求结果生成最终推断请求结果。

2.如权利要求1所述的方法，其中生成所述最终推断请求结果包括：由所述第二推断加速器响应于来自所述第一推断加速器的所述中间推断请求结果而生成所述最终推断请求结果。

3.如权利要求2所述的方法，进一步包括：从所述第二推断加速器直接向所述计算设备的主机处理器传送所述最终推断请求结果。

4.如权利要求2所述的方法，进一步包括：从所述第二推断加速器经由所述第一推断加速器向所述计算设备的主机处理器传送所述最终推断请求结果。

5.如权利要求1所述的方法，其中直接在所述第一推断加速器与所述第二推断加速器之间路由所述中间推断请求结果是独立于所述计算设备的主机处理器地执行的。

6.如权利要求1所述的方法，进一步包括：在所述第一推断加速器的存储器中实现用于所述第二推断加速器的请求队列。

7.如权利要求1所述的方法，进一步包括：

在所述计算设备的主机处理器的存储器中实现用于所述第二推断加速器的请求队列；以及

在所述计算设备的所述主机处理器的所述存储器中实现用于所述第一推断加速器的请求队列。

8.如权利要求1所述的方法，其中生成所述最终推断请求结果进一步包括：在来自所述第二推断加速器的所述最终推断请求结果被直接存储器访问(DMA)传递至所述第一推断加速器之后由所述第二推断加速器跨交换机设备写入到所述第一推断加速器的全局同步管理器(GSM)。

9.如权利要求8所述的方法，其中所述最终推断请求结果的所述DMA传递基于所述第一推断加速器的存储器中所存储的所述第二推断加速器的请求队列中的请求队列元素。

10.如权利要求1所述的方法，其中路由所述中间推断请求结果包括：在来自所述第一推断加速器的所述中间推断请求结果被直接存储器访问(DMA)传递至所述第二推断加速器之后由所述第一推断加速器跨交换机设备写入到所述第二推断加速器的全局同步管理器(GSM)。

11.一种用于加速机器学习的系统，包括：

神经网络，所述神经网络被托管在第一推断加速器和第二推断加速器中，所述神经网络在所述第一推断加速器与所述第二推断加速器之间拆分；

交换机，所述交换机用于直接在所述第一推断加速器与所述第二推断加速器之间路由中间推断请求结果；以及

主机设备，所述主机设备用于接收从所述中间推断请求结果生成的最终推断请求结果。

12.如权利要求11所述的系统，其中所述最终推断请求结果是由所述第二推断加速器响应于来自所述第一推断加速器的所述中间推断请求结果而生成的。

13.如权利要求12所述的系统，其中所述最终推断请求结果是从所述第二推断加速器直接传送至所述主机设备的。

14.如权利要求12所述的系统，其中所述最终推断请求结果是从所述第二推断加速器经由所述第一推断加速器传送至所述主机设备的。

15.如权利要求11所述的系统，其中所述第一推断加速器包括用于通知所述第一推断加速器来自所述第二推断加速器的所述最终推断请求结果被直接存储器访问(DMA)传递至所述第一推断加速器的全局同步管理器(GSM)。