[发明专利]具有处理流水线的乘法器-累加器电路系统以及操作该电路系统的方法

说明书

一种集成电路，包括存储图像数据和滤波器权重的存储器，以及多个乘法‑累加器执行流水线，每个乘法‑累加器执行流水线耦接到存储器以接收(i)图像数据以及(ii)滤波器权重，其中每个乘法‑累加器执行流水线使用关联滤波器权重经由多个乘法和累加操作来处理图像数据。在一个实施例中，每个乘法‑累加器执行流水线的乘法‑累加器电路系统在操作中接收不同的图像数据集合，每个集合包括多个图像数据，且使用与接收的图像数据关联的滤波器权重、经由与其他乘法‑累加器执行流水线的乘法‑累加器电路系统并行地执行多个乘法和累加操作来处理与其关联的图像数据集合，从而生成输出数据。每个图像数据集合包括与从其生成的输出数据关联的图像的所有。

相关申请

本非临时申请要求2019年3月25日提交的、名为“具有处理流水线的乘法器-累加器电路系统和操作该电路系统的方法”的美国临时申请No.62/823,161的优先权和权益。特此将该’161临时申请的全部内容通过引用并入本文。

导言

本文描述和示出了许多发明。本发明既不限于任何单个方面或其实施例，也不限于这些方面和/或实施例的任何组合和/或置换。重要的是，本发明的每个方面和/或其实施例可单独使用或者与本发明的其他方面和/或其实施例中的一个或多个结合使用。

在一个方面中，本发明涉及具有乘法器-累加器电路系统的集成电路(以及操作该电路的方法)，该乘法器-累加器电路系统包括一个或多个执行或处理流水线，该一个或多个执行或处理流水线包括用于实现Winograd型处理来提升乘法器-累加器电路系统和处理的数据吞吐量的电路系统。在一个实施例中，电路系统和技术将输入数据从M×M矩阵变换成N×N矩阵(其中N和M是正整数，并且N大于M(例如M＝3且N＝4))，其中输入数据可存储在存储器中(例如包括二维阵列的图像像素的层)。在一个实施例中，电路系统和技术还将输入权重或权重值从M×M矩阵变换成N×N矩阵或块，其中输入权重或权重值也可以以M×M块存储在存储器中(例如包括二维阵列的输入权重或值的层)。此处，每个M×M矩阵或块的滤波器权重或系数与M×M矩阵的输入数据关联。在上述转换后，乘法器-累加器电路系统使用关联的N×N滤波器权重或系数来处理N×N输入数据。

在一个实施例中，乘法器-累加器电路系统使用关联的N×N输入权重来处理N×N输入数据，以生成或累加Q×Q矩阵的输出数据。在进一步处理(例如加法和/或减法操作)之后，乘法器-累加器电路系统生成输出值。也就是说，通过乘法器-累加器电路系统(在一个实施例中包括N×N执行流水线)对N×N元素值进行的聚合提供或生成Q×Q输出数据/像素。在该实施例中，在(经由Z-Y转换逻辑电路系统的)进一步变换/转换之后，N×N执行流水线外部的电路系统生成最终的Q×Q输出。在此，在N×N乘积元素/值与来自其他输入层的其他N×N乘积元素/值累加时，各个元素/值被累加在一起到最终的Q×Q输出像素中，直到已执行了Z-Y转换操作以后。在该实施例中在关联的N×N执行流水线外部的Z-Y转换逻辑电路系统接收数据、变换该数据以生成并输出(一个或多个)输出值(P×P矩阵，例如1×1值)，该(一个或多个)输出值与M×M输入数据的乘法器-累加器电路系统的乘法和累加处理结果关联。

如以下更详细讨论的，在另一实施例中，Z-Y转换逻辑电路系统及其实现的操作被结合到关联的执行流水线中。在该实施例中，乘法器-累加器电路系统可在执行流水线内累加N×N个执行流水线的各个元素/值，以使得通过单个执行流水线而不是多个执行流水线(例如N×N个执行流水线(例如16个执行流水线))实现数据处理。