[发明专利]过滤隐藏矩阵训练DNN

权利要求书

1.一种训练深度神经网络(DNN)的方法，所述方法包括：

初始化A矩阵的每个元素的状态；

更新所述A矩阵的每个元素以确定增量权重更新；

存储隐藏矩阵的元素，其中所述隐藏矩阵的每个元素对应于所述A矩阵的所述元素之一的所述增量权重更新的总和；

基于所述隐藏矩阵的对应元素达到阈值状态来更新权重矩阵的对应元素。

2.根据权利要求1所述的方法，其中，更新所述A矩阵的每个元素包括通过导电行配线传送误差信号δ并且读取结果输出向量z作为来自导电列配线的电流输出。

3.根据权利要求1所述的方法，其中，所述增量权重更新包括输出向量与在所述A矩阵上操作的输入向量的矩阵相乘。

4.根据权利要求1所述的方法，其中，更新所述权重矩阵包括：当所述隐藏矩阵的元素达到阈值状态时，通过所述权重矩阵的导电列配线将电压脉冲与达到所述阈值状态的所述隐藏矩阵的所述元素的符号信息同时发送作为通过所述权重矩阵的导电行配线的电压脉冲。

5.根据权利要求1所述的方法，其中，所述阈值状态包括所述增量权重更新的平均值的十倍。

6.根据权利要求1所述的方法，包括：当所述权重矩阵的对应元素被更新时，将所述隐藏矩阵的对应元素重置为零。

7.一种用于训练深度神经网络的计算机实现方法，包括：

跟踪从隐藏矩阵的对应元素中的A矩阵的对应元素获得的增量权重更新的总和；

当增量权重更新的总和达到所述隐藏矩阵的对应元素中的一个的阈值时，触发权重矩阵的对应元素的更新。

8.根据权利要求7所述的方法，其中，所述增量权重更新包括对所述A矩阵的对应元素操作的输出向量和输入向量的矩阵相乘。

9.根据权利要求7所述的方法，其中，所述总和包括正值或负值，并且所述更新包括与所述总和的所述符号相对应的符号信息。

10.根据权利要求7所述的方法，其中，对所述总和进行数字跟踪。

11.一种深度神经网络(DNN)，包括：

一种矩阵，包括将传导行配线与传导列配线之间的交叉点分开的电阻处理单元(RPU)装置，其中所述RPU装置包括所述DNN中的神经元之间的加权连接的经处理的梯度；

权重矩阵，包括将传导行配线与传导列配线之间的交叉点分开的RPU装置，由此所述RPU装置包括所述DNN中的神经元之间的加权连接；以及

一个隐藏矩阵，该隐藏矩阵包括在该权重矩阵W中的每个RPU装置的H值，其中该H值迭代地添加来自该矩阵A的值直到至少一个H值高于阈值。

12.如权利要求11所述的DNN，包括与所述交叉点阵列互连的参考阵列，所述参考阵列存储所述交叉点阵列中的所述RPU装置的零权重传导率值。

13.如权利要求11所述的DNN，其特征在于，所述隐藏矩阵H包括所述权重矩阵W中的每个RPU装置的数字存储值。

14.一种计算机程序产品，包括：

一个或多个计算机可读存储介质，以及共同存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令包括用于以下操作的指令：

初始化A矩阵的每个元素的状态；

更新所述A矩阵的每个元素以确定增量权重更新；

存储隐藏矩阵的元素，其中所述隐藏矩阵的每个元素对应于所述A矩阵的所述元素之一的所述增量权重更新的总和；

基于所述隐藏矩阵的对应元素达到阈值状态来更新所述权重矩阵的对应元素。