[发明专利]拆分网络加速架构

说明书

描述了一种用于在计算设备上加速机器学习的方法。该方法包括：将神经网络托管在第一推断加速器和第二推断加速器中。该神经网络在该第一推断加速器与该第二推断加速器之间拆分。该方法还包括：直接在该第一推断加速器与该第二推断加速器之间路由中间推断请求结果。该方法进一步包括：从这些中间推断请求结果生成最终推断请求结果。

相关申请的交叉引用

本申请要求于2020年2月5日提交的题为“SPLIT NETWORK ACCELERATINGARCHITECTURE(拆分网络加速架构)”的美国专利申请No.16/783,047的权益，后者要求于2019年2月6日提交的题为“SPLIT NETWORK ACCELERATING ARCHITECTURE(拆分网络加速架构)”的美国临时专利申请No.62/802,150的权益，这些申请的公开内容通过援引全部明确纳入于此。

技术领域

本发明的某些方面一般涉及人工神经网络，尤其涉及用于拆分人工神经网络的硬件加速器。

背景技术

可包括一群互连的人工神经元的人工神经网络可以是计算设备或者可以表示要由计算设备执行的方法。人工神经网络可具有生物学神经网络中对应的结构和/或功能。然而，人工神经网络可为传统计算技术在其中可能是麻烦的、不切实际的、或不能胜任的某些应用提供有用的计算技术。因为人工神经网络可以从观察中推断出函数，因此此类网络在任务和/或数据的复杂度使得使用常规技术设计该函数较为麻烦的应用中可能是有用的。

在计算中，硬件加速是使用计算机硬件来比用在更通用的中央处理单元(CPU)上运行的软件所可能的更高效地执行一些功能。执行加速的硬件可被称作硬件加速器。硬件加速器可通过允许更大并发性、在算法中对临时变量有特定数据路径、以及有可能减小指令控制的开销来改进特定算法的执行。

概述

描述了一种用于在计算设备上加速机器学习的方法。该方法包括：将神经网络托管在第一推断加速器和第二推断加速器中。该神经网络在该第一推断加速器与该第二推断加速器之间拆分。该方法还包括：直接在该第一推断加速器与该第二推断加速器之间路由中间推断请求结果。该方法进一步包括：从这些中间推断请求结果生成最终推断请求结果。

描述了一种用于加速机器学习的系统。该系统包括：神经网络，该神经网络被托管在第一推断加速器和第二推断加速器中。该神经网络在该第一推断加速器与该第二推断加速器之间拆分。该系统还包括：交换机，该交换机用于直接在该第一推断加速器与该第二推断加速器之间路由中间推断请求结果。该系统进一步包括：主机设备，该主机设备用于接收从这些中间推断请求结果生成的最终推断请求结果。

描述了一种用于加速机器学习的系统。该系统包括：神经网络，该神经网络被托管在第一推断加速器和第二推断加速器中。该神经网络在该第一推断加速器与该第二推断加速器之间拆分。该系统还包括：用于直接在该第一推断加速器与该第二推断加速器之间路由中间推断请求结果的装置。该系统进一步包括：主机设备，该主机设备用于接收从这些中间推断请求结果生成的最终推断请求结果。

这已较宽泛地勾勒出本公开的特征和技术优势以便下面的详细描述可被更好地理解。本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述

在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。

图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。