[发明专利]计算神经网络的装置、板卡、方法及可读存储介质

说明书

本披露涉及计算神经网络的装置、板卡、方法及可读存储介质，其中本披露的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本披露一般地涉及神经网络领域。更具体地，本披露涉及计算神经网络的装置、板卡、方法及可读存储介质。

背景技术

神经网络是按照一定规则连接起来的多个神经元系统，大致上是由以下四种层结构所组成：输入层、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)。

输入层是自输入数据中截取部分信息，转化成特征矩阵方式呈现，其中载有对应该部分信息的特征。卷积层配置成接收来自输入层的特征矩阵，通过卷积操作对输入数据进行特征抽取。卷积层在实际运用时可以建制多层卷积层。池化层配置成对数据的某一个区域用一个值代替，这值通常是该区域所有数值里的最大值或平均值。通过池化，在不至于损失过多信息的前提下，可以缩减模型大小、提高计算速度。全连接层在整个卷积神经网络中起到分类器的作用，相当于特征空间变换，把前面所有有用的信息提取整合，基于不同的分类做信息比对，借以判断输入数据是否相似于比对的标的。

随着科技的发展，神经网络的层数越来越多，以经典的VGG架构为例，VGG-A共有11个权重层、VGG-B有13个权重层、VGG-C有16个权重层、VGG-D共有16个权重层、VGG-E共有19个权重层。其中，卷积层和全连接层的泛指权重层。有些神经网络更是具有上百层结构。不仅如此，随着层数的增加，神经网络的参数数量也呈指数级的增加，例如 AlexNet具有6000万个参数参与计算。

多层数与多参数都需要大量片上片外的输入/输出访问，这将会耗去许多资源，同时延迟运算时间。因此一种减少输入/输出访问的机制是人工智能领域中迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本披露的方案提供了一种计算神经网络的装置、板卡、方法及可读存储介质。

在一个方面中，本披露揭露一种计算装置，连接至片外内存，所述计算装置包括多个集群，每个集群包括：共享存储单元；第一直接内存访问模块，用以将第一片上单元图自所述片外内存载入至所述共享存储单元中；以及多个处理器核，用以分别对所述第一片上单元图进行计算，并产生第一计算结果；其中，所述第一直接内存访问模块将所述第一计算结果从所述共享存储单元存回至所述片外内存中。

在另一个方面，本披露揭露一种集成电路装置，包括前述的计算装置，以及一种板卡，包括根据前述的集成电路装置。

在另一个方面，本披露揭露一种利用计算装置计算神经网络的方法，所述计算装置包括多个集群，每个集群包括共享存储单元，所述方法包括：第一层载入阶段：将第一片上单元图自片外内存载入至所述共享存储单元中；第一层计算阶段：分别对所述第一片上单元图进行计算，并产生第一计算结果；以及第一层存回阶段：将所述第一计算结果从所述共享存储单元存回至所述片外内存中。

另一个方面，本披露揭露一种计算机可读存储介质，其上存储有利用计算装置计算神经网络的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行前述的方法。

本披露基于片上系统-集群-处理器核的三级运算层次，以及 DRAM-SRAM-NRAM/WRAM的三层内存设计，建立起两层三级流水线，充分利用硬件资源，提升神经网络计算效率。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：