[发明专利]用于人工神经网络中的分布式与协作计算的方法和装置

说明书

描述了用于人工神经网络中的分布式与协作计算的方法和装置。例如，装置的一个实施例包括：输入/输出（I/O）接口；多个处理单元，其通信地耦合到I/O接口以接收针对输入神经元的数据和与每个输入神经元相关联的突触权重，多个处理单元中的每一个处理突触权重和输入神经元的数据的至少一部分以生成部分结果；以及通信地耦合所述多个处理单元的互连，每个所述处理单元通过所述互连来与一个或多个其他处理单元共享所述部分结果，所述其他处理单元使用所述部分结果来生成附加的部分结果或最终结果。处理单元可以在共享输入总线上共享包括输入神经元的数据和权重。

技术领域

本发明一般地涉及计算机处理器的领域。更具体地，本发明涉及一种用于神经网络加速的方法和装置。

背景技术

ANN通常被呈现为可以计算来自输入的值的互连“神经元”的系统。ANN表示用于学习和识别模式的最相关和广泛的技术之一。因此，ANN已经形成为一种用于改善用户体验的直观的人类/设备交互的有效解决方案，这是一种称为“认知计算”的新计算范例（paradigm）。除了其他使用之外，ANN可以用于成像处理、语音和对象识别或自然语言处理。卷积神经网络（CNN）或深度信念网络（DBN）只是采用ANN算法的计算范例的几个示例。

附图说明

可以从结合以下附图的以下详细描述获得对本发明的更好理解，在附图中：

图1A是图示了根据本发明的实施例的示例性按顺序取得（fetch）、解码、退役（retire）流水线和示例性寄存器重命名、乱序发布/执行流水线两者的框图；

图1B是图示了根据本发明的实施例的在处理器中包括的按顺序取得、解码、退役核的示例性实施例和示例性寄存器重命名、乱序发布/执行架构核两者的框图；

图2是根据本发明的实施例的具有集成的存储器控制器和图形的多核处理器和单核处理器的框图；

图3图示了根据本发明的一个实施例的系统的框图；

图4图示了根据本发明的实施例的第二系统的框图；

图5图示了根据本发明的实施例的第三系统的框图；

图6图示了根据本发明的实施例的片上系统（SoC）的框图；

图7图示了根据本发明的实施例的对比使用软件指令转换器将源指令集中的二进制指令转换为目标指令集中的二进制指令的框图；

图8图示了具有多个层的完全连接的人工神经网络（ANN）的方案；

图9图示了示例性神经形态（neuromorphic）加速器架构；

图10图示了针对单片配置和基于每层神经元的数量来利用分布式配置的本发明实施例二者的带宽需求；

图11图示了单片架构与基于每层神经元的数量的分布式神经形态架构之间的比较；

图12A图示了其中神经形态加速器通信地耦合到处理器的一个实施例；

图12B图示了其中神经形态加速器集成在处理器内的一个实施例；

图13图示了包括处理单元（PU）的集合的神经形态加速器的一个实施例；

图14A-图14B图示了根据本发明的一个实施例的完全连接的1对1操作可以如何映射；

图15A-图15B图示了根据本发明的另一实施例的完全连接的1对N操作可以如何映射；

图16图示了执行变化的滤波器大小和多个存储器大小的卷积（convolution）所需的能量；

图17A-图17B图示了用于执行集群（cluster）的不同存储布置；

图18A图示了存储器组织的一个实施例，其中在不同类型的数据之间共享存储器组块（memory bank）和互连；

图18B图示了根据一个实施例的可以对其应用滤波器的示例性图像；

图19图示了根据本发明的一个实施例的包括多个组块的暂存器（scratchpad）存储器；

图20A-图20B图示了针对暂存器存储器的不同示例性利用；