[发明专利]集成电路装置、电子设备、板卡和计算方法

说明书

本公开涉及一种集成电路装置、电子设备、板卡和使用前述集成电路装置来执行计算的方法。该集成电路装置可以包括在组合处理装置的计算装置中，该计算装置可以包括一个或多个集成电路装置。前述的组合处理装置还可以包括接口装置和处理装置。所述计算装置与处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和处理装置连接，用于存储该计算装置和处理装置的数据。本公开的方案可以降低内部设备与外部存储装置之间的数据传输量，由此最大程度地减少了由于带宽限制而导致的I/O瓶颈问题，从而可以提高集成电路装置的整体性能。

技术领域

本公开一般地涉及数据处理领域。更具体地，本公开涉及一种集成电路装置、电子设备、板卡和计算方法。

背景技术

随着人工智能领域的发展，大规模神经网络涉及的运算数据量越来越大，对存储量的要求越来越高，例如反向传播中的卷积权重梯度等运算。在现有运算方式中，通常利用中央处理器(“CPU”)或者图像处理单元(“GPU”)等处理器进行运算。然而，即使采用并行计算的方式，由于处理器受制于内部寄存器资源的容量限制，庞大的数据运算量可能会导致处理器与外部存储设备之间产生大量的数据交互，从而降低设备的运算及处理效率。由于输入/输出(“I/O”)总线的带宽有限，由此可能会出现严重的I/O瓶颈问题，因此极大地降低了并行运算效率。另外，不仅I/O总线的带宽限制会成为性能的瓶颈，而且处理器与外部存储设备间大量的I/O访存量也会造成较大的计算和功耗开销。

发明内容

为了至少解决在上文中所提到的技术问题，本公开提供了可以减少与外部存储设备的数据传输量，最大程度地降低总线带宽限制带来的I/O瓶颈问题的解决方案。具体地，本公开在如下的多个方面中提供前述的解决方案。

在第一方面中，本公开提供了一种集成电路装置，包括：

数据接口，其配置用于在所述集成电路装置和外部存储器之间传递数据；以及

多级计算单元，其包括依次级联的第一级计算单元和多级下游计算单元，并且其中每级计算单元配置成：

接收第一数据，其中所述第一级计算单元配置成经由所述数据接口接收来自于所述外部存储器的第一数据，多级下游计算单元中的每级配置成从上一级计算单元处接收第一数据，并且所述多级计算单元中除最后一级计算单元外的其他计算单元还配置成将所述第一数据发送至下一级计算单元；以及

根据所述第一数据和预先存储的第二数据进行计算以得到计算结果。

在第二方面中，本公开提供了一种电子设备，包括前述及其稍后描述的多个实施例的集成电路装置。

在第三方面中，本公开提供了一种板卡，包括根据前述及其稍后描述的多个实施例的集成电路装置。

在第三方面中，本公开提供了一种使用集成电路装置来执行计算的方法，其中所述集成电路装置包括数据接口和多级计算单元，所述数据接口用于在所述集成电路装置和外部存储器之间传递数据，其中所述多级计算单元包括依次级联的第一级计算单元和多级下游计算单元，所述方法包括在每级计算单元处执行以下操作：

接收第一数据，其中所述第一级计算单元经由数据接口接收来自于所述外部存储器的第一数据，多级下游计算单元中的每级从上一级计算单元处接收第一数据，并且所述多级计算单元中除最后一级计算单元外的其他计算单元还将所述第一数据发送至下一级计算单元；以及

根据所述第一数据和预先存储的第二数据进行计算以得到计算结果。

通过利用本公开上述的集成电路装置、电子设备、板卡和计算方法，可以充分利用内部资源，在多级计算单元之间实现数据传递，由此可以减少与外部存储器之间的I/O数据传输量。另外，通过显著减少与外部存储器的数据交互，本公开的方案还可以提升运算的执行效率，降低I/O带宽限制造成的运算性能瓶颈问题，从而可以提升集成电路装置、电子设备或板卡的整体性能。

附图说明