[发明专利]处理系统中的矩阵数据重用技术

说明书

用于在多个乘法和累加单元中计算矩阵卷积的技术，所述多个乘法和累加单元包括相邻值的数据重用。数据重用可以包括从存储器中读取第一矩阵的当前值，以供多个乘法和累加单元并存使用。数据重用还可以包括将第二矩阵的当前值从存储器中读取到与多个乘法和累加单元耦合的串行移位缓冲器中。数据重用还可以包括从存储器中读取第二矩阵的当前值，以供多个乘法和累加单元并存使用。

相关申请的交叉引用

本申请要求于2019年7月9日提交的第62/872,147号美国临时专利申请的权益，该申请的全部内容并入本文。

背景技术

计算系统中的卷积计算被广泛用于人工智能任务中，例如图像处理及其类似任务。通常，卷积是将矩阵中每一个元件的权重添加到其局部近邻的过程。参考图1，示出了根据现有技术的权重矩阵110与输入特征图矩阵120的示例性卷积。权重矩阵110与输入特征图120的卷积生成输出特征图矩阵130。权重矩阵110、输入特征图矩阵120和输出特征图130的参数列于表1中。

表1

卷积以R＝H，S＝W为表征的特殊情况通常被称为全连接层。尽管本文描述的一般卷积情况用于描述本技术的实施例，但是相同的技术可以同样地应用于全连接层的特殊情况。

在计算系统中，卷积可以使用乘法和累加(MAC)单元来计算。现在参考图2，示出了根据现有技术的示例性计算系统。计算系统200可以包括一个或更多个存储器210，所述存储器210通过一个或更多个通信接口230通信地耦合到一个或更多个处理器220。一个或更多个处理器220的一个或更多个乘法和累加单元240可以被配置为对权重矩阵110和输入特征图矩阵120执行乘法和累加功能，以生成输出特征图矩阵130。权重矩阵110、输入特征图矩阵120和输出特征图矩阵130可以存储在一个或更多个存储器中。参考图3、4A和4B，进一步描述了卷积计算。图3示出了根据现有技术的计算卷积的方法。图4A和4B示出了在根据现有技术的卷积计算中使用的示例性乘法和累加运算。

在310处，卷积的计算可以从在第一循环(T＝0)期间将当前权重值(0，0，0)和当前输入特征图值(0，0，0)从存储器210加载到处理器220的乘法和累加单元240中开始。在320处，可以使用当前权重值和当前输入特征图值来执行乘法和累加运算，以生成对应的当前累加值。例如，乘法和累加单元210可以在第一循环(T＝0)期间累加当前权重值(0，0，0)和当前输入特征图值(0，0，0)的乘积。在330处，可以通过输入特征图的对应输入通道和权重的对应输入通道，来迭代310和320处的运算。在340处，可以通过权重的内核高度和内核宽度以及输入特征图的对应图宽度和图高度，来迭代310至330处的运算。例如，在第二循环(T＝1)，可以将第二权重值(0，0，1)和第二输入特征图值(0，0，1)从存储器加载到乘法和累加单元240中。当前权重值和当前输入特征图值的乘积410可以添加(420)到来自第一循环的累加值中，并暂存在累加器430中。

在350处，来自乘法和累加单元的当前累加值可以输出为对应的输出特征图值。例如，在循环R×C×S，乘法和累加单元240的累加值可以在输出特征图的第一输出通道中输出为对应的输出特征图值(1，1，0)。在360处，可以重置乘法和累加单元240中的当前累加值，并且可以通过输入特征图的图宽度和图高度以及权重的对应内核高度和内核宽度，来迭代310至350的运算。例如，如图4A所示，在输入特征图的计算窗口(0，0，0)和(3，3，C-1)中计算与输入特征图值对应的输出特征图值之后，可以如图4B所示在输入特征图的计算窗口(0，1，0)和(3，4，C-1)中计算与输入特征图值对应的输出特征图值，并相应地继续。在370处，310至360的运算可以通过权重的滤波器进行迭代。

计算卷积中的每一个乘法和累加运算涉及从一个或更多个存储器加载当前权重值和当前输入特征图值，在其上执行计算，将对应生成的输出特征图值加载到存储器中，以及在每次计算输出特征图值之后丢弃数据。