[发明专利]由恒定概率匹配指标的稀疏性感知神经处理单元及方法

说明书

本发明涉及与IA及加权的密度无关地执行恒定概率的指标匹配的稀疏性感知神经处理单元及其处理方法。根据本发明的实施例，稀疏性感知神经处理单元处理方法可包括：接收多个输入激活(Input Activation，IA)的步骤；从各加权输出通道获取具有非零值的加权(Weight)的步骤；获得输入通道指标的步骤，其中，所述输入通道指标将所述加权及IA存储在存储器并包括存储有所述加权及IA的存储器地址位置；在包括存储所述输入通道指标的缓冲存储器的指标匹配单元(Index Matching Unit，IMU)中，将各加权输出通道的所述非零值的加权按所述IMU的行(row)大小进行排列并匹配所述加权及IA的步骤。

技术领域

本发明涉及与输入激活(Input Activation，IA)及加权的密度无关地执行恒定概率的指标匹配的稀疏性感知神经处理单元及其处理方法。

背景技术

在图1示出的现有文献中，卷积神经网络(Convolution Neural Network)将适用加权(Weight)过滤器输出的输入激活(Input Activation)作为使用于对输出阶层的输入，在大维度的空间需要多重矩阵乘法。其中，IA为零值时，稀疏卷积神经网络(SparseConvolution Neural Network)进行剪枝，使用仅由非零值进行多重阵列乘法的计算方式。

即，稀疏卷积神经网络在IA及加权中，将接近0的值近似为0并去除零值，仅留非零值并寻找具有非零值的指标，将在相应指标的值导入到处理元件(Processing Element)之后，使用计算乘法叠加计算方式。通过此，可相当地减少用于神经网络算法的存储器通信次数及乘法计算次数，可有效地执行输入激活及加权之间的矩阵乘法。

但是，根据现有文献按各层不同的显示IA及加权矩阵的密度，并且为了利用这些稀疏矩阵有效执行IA及加权之间的矩阵乘法，需要所述乘法计算不受各层的IA及加权阵列的密度变化的约束，维持恒定概率的必要性。

即，需要用于恒定地维持具有稀疏(sparse)变数的模型的性能的发明的必要性。

现有技术文献

非专利文献

张洁芳等，“SNAP：在16nm CMOS中进行非结构化稀疏深度神经网络推理的1.67-21.55TOPS/W稀疏神经加速处理器”2019VLSI电路专题讨论会，IEEE，2019年。

发明内容

根据IA及加权矩阵的密度的倍增器的利用率(Utilization)急剧变化，涉及与IA及加权矩阵密度变化无关的，以恒定概率维持倍增器的利用率而在矩阵排列加权输入及输出通道的稀疏性感知神经处理单元及处理方法。

根据本发明的一个实施例，提供一种稀疏性感知神经处理单元处理方法，其包括：接收多个输入激活(Input Activation，IA)的步骤；从各加权输出通道获取具有非零值的加权(Weight)的步骤；获得输入通道指标的步骤，其中，所述输入通道指标将所述加权及IA存储在存储器并包括存储有所述加权及IA的存储器地址位置；在包括存储所述输入通道指标的缓冲存储器的指标匹配单元(Index Matching Unit，IMU)中，将各加权输出通道的所述非零值的加权按所述IMU的行(row)大小进行排列并匹配所述加权及IA的步骤。

还有，所述IMU包括比较器阵列、加权缓冲存储器及IA缓冲存储器，在所述比较器阵列的边界由列(Column)方向排列存储IA输入通道指标的所述IA缓冲存储器，由行(Row)方向排列存储非零值加权输入通道指标的所述加权缓冲存储器，以便可匹配所述加权及IA。

此时，在所述加权缓冲存储器中，各加权输出信道的所述非零值加权由升序配置，超过所述加权的输出通道的输入通道大小及非零值加权的个数中的至少一个时，排列为转到所述加权的下一个输出通道，或者所述IA缓冲存储器将IA的各输入通道指标与像素尺寸(Pixel-Dimension)一对一进行匹配，并将各像素尺寸由升序排列。