[发明专利]用于对加速分布式处理进行流水线并行的系统和方法

说明书

在本文中公开了一种系统、方法和设备，用于进行流水线并行以加速分布式学习网络图。针对神经网络的第一层的第一数据可以被存储在存储器中。包括第一多个处理元件(PE)电路的第一电路系统可以从存储器中读取第一数据，并且使用第一数据执行针对神经网络的第一层的计算，以生成第二数据。第一电路系统包括多个缓冲区，用于将所生成的第二数据输出作为到第二电路系统的输入，以执行针对神经网络的第二层的计算。第二电路系统包括第二多个PE电路，被配置为使用第二数据执行针对神经网络的第二层的计算。

技术领域

本公开一般涉及神经网络，包括但不限于用于针对神经网络的AI加速器中的流水线并行的系统和方法。

背景技术

机器学习是在各种不同的计算环境中实现的，例如，包括计算机视觉、图像处理等。一些机器学习系统可以包含神经网络(例如，人工神经网络)。然而，从处理的角度和从能源效率两者的角度来看，这种神经网络在计算上可能是昂贵的。

发明内容

本文中所公开的各种实施例都涉及一种设备，用于进行流水线并行，以针对神经网络执行AI相关处理。设备包括存储器(例如，静态随机存取存储器)，被配置为存储针对神经网络的第一层的第一数据。设备包括第一电路系统，具有第一多个处理元件(PE)电路，该第一PE电路被配置为从存储器中读取第一数据，并且使用第一数据针对神经网络的第一层执行计算，以生成第二数据。第一电路系统还包括多个缓冲区(例如，顺序和/或组合逻辑或设备)，该多个缓冲区被配置为将所生成的第二数据输出作为到第二电路系统的输入，以执行针对神经网络的第二层的计算。第二电路系统包括第二多个PE电路，该第二电路系统被配置为使用第二数据执行针对神经网络的第二层的计算。

在一些实施例中，第一多个PE电路被配置为：在第二多个PE电路执行针对神经网络的第二层的计算时，执行针对神经网络的至少一个节点的计算。在一些实施例中，至少一个节点是来自神经网络的第三层或来自神经网络的第一层。在一些实施例中，多个缓冲区被配置为通过绕过进入或离开存储器的第二数据的任何传输，将所生成的第二数据输出作为到第二电路系统的输入。在一些实施例中，第二多个PE电路还被配置为使用第二数据来生成第三数据。在一些实施例中，第二多个PE电路还被配置为将所生成的第三数据存储到存储器。在一些实施例中，第二电路系统还包括多个缓冲区，该多个缓冲区被配置为将所生成的第三数据输出作为到第三电路系统的输入。

在一些实施例中，第一数据包括针对神经网络的第一层的权重或激活信息中的至少一个，并且第二数据包括针对神经网络的第二层的权重或激活信息中的至少一个。在一些实施例中，第一多个PE电路被配置为使用第一数据来执行卷积运算，并且第二多个PE电路被配置为使用第二数据来执行点积运算。在一些实施例中，第一电路系统和第二电路系统形成在同一半导体器件上。在一些实施例中，多个缓冲区被配置具有足够的能力来缓冲所生成的第二数据，并且将所生成的第二数据输出给第二电路系统。

本文中所公开的各种实施例都涉及一种方法，用于进行流水线并行，以针对神经网络执行AI相关处理。方法可以包括将神经网络的第一层的第一数据存储在存储器中。方法可以包括由第一多个处理元件(PE)电路从存储器中读取第一数据。方法可以包括由第一多个PE电路使用第一数据执行针对神经网络的第一层的计算，以生成第二数据。方法可以包括由第一多个PE电路的多个缓冲区，将所生成的第二数据提供作为到第二多个PE电路的输入，以执行针对神经网络的第二层的计算。方法可以包括由第二多个PE电路使用第二数据执行针对神经网络的第二层的计算。