[发明专利]执行高效3维卷积的神经网络单元

摘要

神经网络单元将H×W×C输入与F个R×S×C滤波器进行卷积以生成F个Q×P输出。N个处理单元(PU)各自具有接收存储器字的寄存器和多路复用寄存器，所述多路复用寄存器选择性地接收存储器字或从相邻PU多路复用寄存器旋转的字。N个PU被逻辑地分为每一个为B个PU的G个块。PU按列‑通道‑行顺序进行卷积。对于每个滤波器列：N个寄存器读取存储器行，每个PU将寄存器和多路复用寄存器相乘以生成用于累加的乘积，及多路复用寄存器旋转一；旋转多路复用寄存器以使输入块与相邻PU块对准。这是针对每个通道执行的。对于每个滤波器行，N个多路复用寄存器读取用于乘法‑累加的存储器行，生成F个列‑通道‑行‑和，并将其写入存储器，然后针对每个输出行执行所有步骤。

主权项

一种神经网络单元(NNU)，被配置为将H行乘以W列乘以C个通道的输入与每一个为R行乘以S列乘以C个通道的F个滤波器进行卷积，以生成每一个为Q行乘以P列的F个输出，所述神经网络单元包括：至少一个存储器，所述至少一个存储器输出N个字的行，其中N至少为512；N个处理单元(PU)的阵列，其中所述阵列的每个PU具有：累加器；寄存器，所述寄存器被配置为接收来自所述至少一个存储器的行的所述N个字中的相应字；多路复用寄存器，所述多路复用寄存器被配置为选择性地接收来自所述至少一个存储器的行的所述N个字中的相应字或从逻辑上相邻的PU的多路复用寄存器旋转的字；及算术逻辑单元，所述算术逻辑单元耦合到所述累加器、寄存器和多路复用寄存器；其中所述N个PU被逻辑地分为G个块，每一块为B个相应PU，其中B是至少与W一样大的N的最小因数；对于Q个输出行的每个输出行：对于R个滤波器行的每个滤波器行：所述NNU从所述至少一个存储器将N个字的行读入所述N个多路复用寄存器，所述N个字的行被逻辑地分为与所述PU的G个块对应的G个输入块，其中所述G个输入块中的至少C个包括输入的C个通道中的相应通道的行；及对于C个通道中的至少每个通道：对于S个滤波器列的每个滤波器列：所述NNU从所述至少一个存储器将N个字的行读入所述N个寄存器，所述N个字的行被逻辑地分为对应于所述G个输入块的G个滤波器块，其中G个滤波器块中的F个滤波器块中的每一个对应于F个滤波器中的相应滤波器并且包括在滤波器列和滤波器行以及相应输入块的相应通道的相应滤波器的权重的至少Q个副本；所述阵列的每个PU将所述寄存器和所述多路复用寄存器相乘以生成乘积，并且将所述乘积与所述累加器累加；及所述NNU将所述多路复用寄存器旋转一；及所述NNU旋转所述多路复用寄存器，以将所述G个输入块与B个PU的相邻G块对准；及所述NNU将所述N个累加器写入所述至少一个存储器。