[发明专利]过滤隐藏矩阵训练DNN

说明书

在一个方面，一种训练DNN的方法(300)包括：通过加权矩阵W传送输入向量x并读取结果输出向量y(304)，传送误差信号δ，通过矩阵A(504)的传导行配线传送具有误差信号δ的输入向量x，以及传送输入向量esubgt;i/subgt;并读取结果输出向量y′作为电流输出(310)。训练还包括通过将乘以输入向量esubgt;i/subgt;的转置的输出向量y′迭代地添加到每个H值来更新包括用于RPU装置(908)的H值(906)的隐藏矩阵H(902)。训练还包括：当H值达到阈值时，将输入向量esubgt;i/subgt;作为电压脉冲通过矩阵W(512)的导电列配线传送，同时将达到阈值的H值(906)的符号信息作为电压脉冲通过导电行配线矩阵W(510)传送。

背景技术

本发明总体上涉及深度神经网络(DNN)训练，并且更具体地涉及用于对来自电阻处理单元(RPU)装置的信号进行滤波以降低噪声的技术。

深度神经网络(DNN)可被具体化在诸如电阻处理单元(RPU)的电阻装置的模拟交叉点阵列中。RPU装置通常包括第一端子、第二端子和有源区域。有源区的电导状态识别RPU的权重值，可以通过向第一/第二端子施加信号来更新/调整该RPU的权重值。

基于DNN的模型已经被用于各种不同的基于认知的任务，诸如对象和语音识别和自然语言处理。在执行这样的任务时，需要DNN训练来提供高水平的准确度。训练大的DNN是计算密集的任务。DNN训练的最流行方法(诸如反向传播和随机梯度下降(SGD))要求RPU″对称″以准确地工作。当受到正电压脉冲和负电压脉冲时，对称的模拟电阻装置对称地改变电导。然而，实际上，RPU装置可表现出非线性和非对称的开关特性。例如，当施加电压脉冲以向上或向下调整权重时，在上调整和下调整之间通常存在不平衡。

发明内容

本发明提供了用于训练深度神经网络(DNN)的技术。该方法包括通过加权矩阵W的导电列配线传送作为电压脉冲的输入向量x，以及读取作为结果的输出向量y作为从加权矩阵W的导电行配线输出的电流。权重矩阵W可包括将导电列配线与导电行配线之间的交叉点分开的电阻处理单元(RPU)装置，以使得RPU装置充当DNN中的神经元之间的加权连接。所述训练可进一步包括：将从所述输出向量y计算的误差信号δ作为电压脉冲通过所述导电行配线传送，以及读取所得的输出向量z作为从所述导电列配线输出的电流。训练可进一步包括通过矩阵A的传导列配线传送作为电压脉冲的输入向量x，同时通过矩阵A的传导行配线传送误差信号δ。所述训练可进一步包含将输入向量e_i作为电压脉冲传送通过交叉点阵列A的传导列配线，且读取所得输出向量y′作为从交叉点阵列A的传导行配线的电流输出。训练可以进一步包括通过将乘以输入向量e_i的转置的输出向量y′迭代地添加到每个H值来更新对于每个RPU装置具有H值H_ij的隐藏矩阵H。训练还可以包括：当H值达到阈值时，通过矩阵W的导电列配线将输入向量e_i作为电压脉冲发送，同时通过导电行配线矩阵W将达到阈值的H值的符号信息作为电压脉冲发送。

本发明的实施例还包括深度神经网络(DNN)。DNN包括矩阵A，矩阵A具有将传导行配线与传导列配线之间的交叉点分开的电阻处理单元(RPU)装置，由此RPU装置包括用于DNN中的神经元之间的加权连接的经处理的梯度。DNN还可包括权重矩阵W，权重矩阵W包括将传导行配线与传导列配线之间的交叉点分开的RPU装置，由此RPU装置包括DNN中的神经元之间的加权连接。DNN可进一步包括具有权重矩阵W中的每个RPU装置的H值的隐藏矩阵H。H值可以迭代地添加来自A矩阵的值，直到至少一个H值超过阈值。

通过参照以下详细说明和附图，将会获得对本发明的更完整的理解以及本发明的进一步的特征和优点。

附图说明

现在将参考附图仅通过示例的方式来描述本发明的实施例，在附图中：

图1是示出根据本发明的实施例的体现在电阻处理单元(RPU)装置的模拟交叉点阵列中的深度神经网络(DNN)的图示；