[发明专利]神经网络的模拟硬件实现

权利要求书

1.一种用于神经网络的硬件实现的方法，包括：

获得训练后的神经网络的神经网络拓扑和权重；

将所述神经网络拓扑变换成模拟部件的等效模拟网络；

基于所述训练后的神经网络的所述权重来计算对于所述等效模拟网络的权重矩阵，其中所述权重矩阵的每个元素表示在所述等效模拟网络的模拟部件之间的相应连接；以及

基于所述权重矩阵来生成用于实现所述等效模拟网络的示意模型，包括选择所述模拟部件的部件值。

2.根据权利要求1所述的方法，其中，生成所述示意模型包括针对所述权重矩阵生成电阻矩阵，其中所述电阻矩阵的每个元素对应于所述权重矩阵的相应权重，并表示电阻值。

3.根据权利要求2所述的方法，还包括：

获得对于所述训练后的神经网络的新权重；

基于所述新权重来为所述等效模拟网络计算新权重矩阵；以及

针对所述新权重矩阵生成新电阻矩阵。

4.根据权利要求1所述的方法，其中，所述神经网络拓扑包括一层或更多层神经元，每层神经元基于相应数学函数来计算相应输出，以及

将所述神经网络拓扑变换成模拟部件的所述等效模拟网络包括：

对于所述一层或更多层神经元中的每层：

基于所述相应数学函数针对相应层识别一个或更多个函数块，其中每个函数块有相应示意实现，该相应示意实现具有符合相应数学函数的输出的块输出；以及

基于排列所述一个或更多个函数块来生成模拟神经元的相应多层网络，其中每个模拟神经元实现所述一个或更多个函数块的相应函数，并且所述多层网络的第一层的每个模拟神经元连接到所述多层网络的第二层的一个或更多个模拟神经元。

5.根据权利要求4所述的方法，其中，所述一个或更多个函数块包括选自由下列项组成的组的一个或更多个基本函数块：

具有块输出V^out＝ReLU(∑w_i.V_iⁱⁿ+bias)的加权求和块，其中ReLU是修正线性单元(ReLU)激活函数或类似的激活函数，V_i表示第i个输入，w_i表示对应于第i个输入的权重，以及bias表示偏差值，并且∑是求和运算符；

具有块输出V^out＝coeff.V_i.V_j的信号乘法器块，其中V_i表示第i个输入，以及V_j表示第j个输入，并且coeff是预定系数；

具有块输出的sigmoid激活块，其中V表示输入，以及A和B是所述sigmoid激活块的预定系数值；

具有块输出V^out＝A*tanh(B*Vⁱⁿ)的双曲正切激活块，其中Vⁱⁿ表示输入，以及A和B为预定系数值；以及

具有块输出U(t)＝V(t-dt)的信号延迟块，其中t表示当前时间段，V(t-1)表示前一时间段t-1的信号延迟块的输出，以及dt是延迟值。

6.根据权利要求4所述的方法，其中，识别所述一个或更多个函数块包括基于所述相应层的类型来选择所述一个或更多个函数块。

7.根据权利要求1所述的方法，其中，所述神经网络拓扑包括一层或更多层神经元，每层神经元基于相应数学函数来计算相应输出，并且将所述神经网络拓扑变换成模拟部件的所述等效模拟网络包括：

将所述神经网络拓扑的第一层分解成多个子层，包括分解对应于所述第一层的数学函数以获得一个或更多个中间数学函数，其中每个子层实现一个中间数学函数；以及

对于所述神经网络拓扑的所述第一层的每个子层：

基于相应的中间数学函数为相应的子层选择一个或更多个子函数块；以及

基于排列所述一个或更多个子函数块来生成模拟神经元的相应多层模拟子网，其中每个模拟神经元实现所述一个或更多个子函数块的相应函数，并且所述多层模拟子网的第一层的每个模拟神经元连接到所述多层模拟子网的第二层的一个或更多个模拟神经元。