[发明专利]用于深度神经网络的可重新配置存储器压缩技术

权利要求书

1.一种神经网络推理引擎，包括：

处理器，所述处理器被配置成基于使用来自表的条目从权重集合中进行选择的制表散列操作来生成神经网络的至少一个隐藏层的矩阵的权重，其中所述表与所述至少一个隐藏层相关联，并且所述权重集合包括比至少一个隐藏层的所述矩阵的所述权重的数量更小数量的权重，以及

存储器，所述存储器位于具有所述处理器的芯片上，所述存储器被配置成存储所述表和所述权重集合。

2.如权利要求1所述的神经网络推理引擎，其中所述表要将所述矩阵的权重分组成伪随机连接集合，并且相同散列桶中的所述连接共享来自所述权重集合的相同权重。

3.如权利要求1所述的神经网络推理引擎，其中至少一个隐藏层的所述矩阵的所述权重包括一个或多个权重的集合，所述权重是来自所述权重集合的单个权重值。

4.如权利要求1所述的神经网络推理引擎，包括：

XOR树，所述XOR树用于对来自所述表的至少两个条目执行XOR运算。

5.如权利要求1所述的神经网络推理引擎，其中所述存储器被配置成存储用于所述隐藏层的至少一个表和用于第二隐藏层的至少一个表。

6.如权利要求1所述的神经网络推理引擎，其中所述处理器要执行至少一个乘法和进位运算以基于所述矩阵的权重和输入激活值来计算值。

7.如权利要求1所述的神经网络推理引擎，其中地址与所述矩阵的权重相关联，并且所述神经网络推理引擎包括：

复用器，所述复用器用于从所述表转移条目以用于所述制表散列操作，其中所述复用器包括：

至少一个移位寄存器，所述移位寄存器用于基于所述权重的所述地址的第一部分来将所述表的内容移位；

第二复用器，所述第二复用器用于基于所述权重的所述地址的第二部分将来自至少一个移位寄存器的内容输出；

第三复用器，所述第三复用器用于基于所述权重的所述地址的第三部分将来自至少一个移位寄存器的内容输出；

XOR逻辑，所述XOR逻辑用于对来自所述第二和第三复用器的输出执行XOR运算并生成输出；以及

第二XOR逻辑，所述第二XOR逻辑用于对来自所述XOR逻辑的输出和所述表的所移位的内容执行XOR运算。

8.如权利要求1所述的神经网络推理引擎，其中当所述神经网络推理引擎在训练模式中操作时，所述处理器用于：

确定所述权重集合中的单个权重值的索引；

基于所述单个权重值来设置所述矩阵的两个或更多权重；

确定所述两个或更多权重的梯度；以及

通过所述两个或更多权重的梯度的总和除以所述两个或更多权重的数量来替换所述单个权重值。

9.如权利要求1所述的神经网络推理引擎，其中当所述神经网络推理引擎在推理模式中操作时，所述处理器用于：

确定所述权重集合中的单个权重值的索引；

基于所述单个权重值来设置所述矩阵的两个或更多权重；以及

使用所述单个权重值和激活信号来执行乘法和进位运算。

10.如权利要求1所述的神经网络推理引擎，包括以下中的一个或多个：推理引擎加速器、图形处理单元、网络接口或存储装置。

11.一种用于使用权重执行推理的方法，所述方法包括：

在神经网络的推理阶段期间：

基于来自表的多个条目的制表散列，从存储在存储器中的权重集合中选择权重矩阵中的第一权重；以及

基于来自所述表的多个条目的第二制表散列，从存储在存储器中的所述权重集合中选择所述权重矩阵中的第二权重，其中：

所述权重矩阵中的权重的数量大于存储在存储器中的所述权重集合，以及

所述表存储在存储器中。