[发明专利]用模拟神经元的单个物理层实现多层神经网络

说明书

本发明描述了一种包括多层模拟神经网络和系统控制器的系统。多层模拟神经网络具有单层物理模拟神经元，其可重复使用以实现多层模拟神经网络。每个物理模拟神经元被配置为接收神经元输入并处理该神经元输入以生成神经元输出，该神经元输出作为输入被馈送到单层的所有物理模拟神经元，并且每个物理模拟神经元包括相应的权重存储器。系统控制器可操作用于：针对每个物理模拟神经元获得相应的神经元权重向量集，其中每个神经元权重向量对应于多层模拟神经网络的多个层中的相应层；针对每个物理模拟神经元，在物理模拟神经元的相应权重存储器中存储相应的神经元权重集；接收多层模拟神经网络的网络输入；以及通过重复使用单层物理模拟神经元来通过多个层处理网络输入以生成网络输出，其中对于多个层的每一层，每个物理模拟神经元使用对应于当前层的相应神经元权重向量集中的神经元权重向量来处理物理模拟神经元的神经元输入。

神经网络是机器学习模型，其采用一层或多层非线性单元来针对接收的输入预测输出。一些神经网络包括输入层、输出层和一个或多个位于其间的隐藏层。每层包括一个或多个神经元。特定层的每个神经元连接到前一层的所有神经元和后一层的所有神经元。每一层的输出被用作网络中下一层，即下一隐藏层或输出层的输入。网络的每一层根据相应权重集的当前值从接收的输入生成输出。

本说明书描述了使用单层物理模拟神经元实现多层模拟神经网络的技术。

通常，本说明书中描述的主题的一个创新方面可以体现在包括多层模拟神经网络和系统控制器的系统中。多层模拟神经网络具有单层物理模拟神经元，其可重复使用以实现多层模拟神经网络的多个层。每个物理模拟神经元被配置为接收神经元输入并处理该神经元输入以生成神经元输出，该神经元输出作为输入被馈送到单层的所有物理模拟神经元，并且每个物理模拟神经元包括相应的权重存储器。单层的每个物理模拟神经元中的权重存储器存储在随机存取存储器(RAM)中。

系统控制器针对每个物理模拟神经元获得相应的神经元权重向量集，每个神经元权重向量对应于多层模拟神经网络的多个层中的相应层。神经元权重向量包括多个神经元权重。每个神经元权重都有一个整数值。系统控制器针对每个物理模拟神经元在物理模拟神经元的相应的权重存储器中存储相应的神经元权重集；接收多层模拟神经网络的网络输入；并且通过重复使用单层物理模拟神经元来通过多个层处理网络输入以生成网络输出。对于多层中的每一层，每个物理模拟神经元使用对应于当前层的相应神经元权重向量集中的神经元权重向量来处理物理模拟神经元的神经元输入。

为了通过重复使用单层物理模拟神经元来通过多个层处理网络输入以生成网络输出，系统控制器执行多个计算周期，每个计算周期对应于多个层的相应层。对于每个计算周期，系统控制器使单层的每个物理模拟神经元的神经元控制器同步地(i)将对应于当前层的神经元权重向量加载到模拟计算单元，以及(ii)将当前层的物理模拟神经元的神经元输入加载到模拟计算单元。系统控制器然后使每个物理模拟神经元的模拟计算单元使用物理模拟神经元的加载的神经元权重向量和加载的神经元输入来计算神经元输出；并且使得每个物理模拟神经元的神经元控制器将物理模拟神经元的计算的神经元输出作为输入提供给单层的所有物理模拟神经元用于下一个计算周期。

在计算相应的神经元输出之前，每个物理模拟神经元的模拟计算单元使用数模转换器(DAC)将加载的神经元输入从数字格式转换为模拟格式，并且使用转换后的模拟格式的神经元输入进行计算。为了计算相应的神经元输出，每个物理模拟神经元的模拟计算单元对物理模拟神经元的加载的神经元权重向量和转换的模拟神经元输入(以模拟格式)应用非线性函数。一旦获得每个神经元的相应的神经元输出，模拟计算单元就向单层的所有物理模拟神经元提供相应的神经元输出用于下一个计算周期。在对应于多个层的最后一层的最后一个计算周期中，每个物理模拟神经元的模拟计算单元使用模数转换器(ADC)将神经元输出从模拟格式转换为数字格式。

本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。

图1示出了包括由单层物理模拟神经元实现的多层模拟神经元网络的示例芯片的架构。