[发明专利]融合神经网络的装置、板卡、方法及可读存储介质

说明书

本发明涉及融合神经网络的装置、板卡、方法及可读存储介质，其中本发明的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及融合神经网络的装置、板卡、方法及可读存储介质。

背景技术

神经网络是按照一定规则连接起来的多个神经元系统，大致上是由以下四种层结构所组成：输入层、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)。

输入层是自输入数据中截取部分信息，转化成特征矩阵方式呈现，其中载有对应该部分信息的特征。卷积层配置成接收来自输入层的特征矩阵，通过卷积操作对输入数据进行特征抽取。卷积层在实际运用时可以建制多层卷积层。池化层配置成对数据的某一个区域用一个值代替，这值通常是该区域所有数值里的最大值或平均值。通过池化，在不至于损失过多信息的前提下，可以缩减模型大小、提高计算速度。全连接层在整个卷积神经网络中起到分类器的作用，相当于特征空间变换，把前面所有有用的信息提取整合，基于不同的分类做信息比对，借以判断输入数据是否相似于比对的标的。

随着科技的发展，神经网络的层数越来越多，以经典的VGG架构为例，VGG-A共有11个权重层、VGG-B有13个权重层、VGG-C有16个权重层、VGG-D共有16个权重层、VGG-E共有19个权重层。其中，卷积层和全连接层的泛指权重层。有些神经网络更是具有上百层结构。不仅如此，随着层数的增加，神经网络的参数数量也呈指数级的增加，例如AlexNet具有6000万个参数参与计算。

多层数与多参数都需要大量片上片外的输入/输出访问，这将会耗去许多资源，同时延迟运算时间。因此一种减少输入/输出访问的机制是人工智能领域中迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了一种融合神经网络的装置、板卡、方法及可读存储介质。

在一个方面中，本发明揭露一种融合神经网络的集成电路装置，所述神经网络包括正金字塔层，所述正金字塔层的输入特征图小于输出特征图，所述输入特征图中的输入数据产生所述输出特征图中的至少一个输出数据。集成电路装置包括处理装置及计算装置。处理装置用以设定对应同一个输入数据的所有输出数据为融合块，所述输出特征图包括多个融合块；以所述融合块为单位，根据融合策略建立模板融合单元。计算装置用以根据所述模板融合单元执行神经网络计算。

在另一个方面，本发明揭露一种板卡，包括根据前述的集成电路装置。

在另一个方面，本发明揭露一种融合神经网络的方法，所述神经网络包括正金字塔层，所述正金字塔层的输入特征图小于输出特征图，所述输入特征图中的输入数据产生所述输出特征图中的至少一个输出数据。所述方法包括：设定对应同一个输入数据的所有输出数据为融合块，所述输出特征图包括多个融合块；以所述融合块为单位，根据融合策略建立模板融合单元；以及根据所述模板融合单元执行神经网络计算。

另一个方面，本发明揭露一种计算机可读存储介质，其上存储有融合神经网络的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行前述的方法。

本发明通过设定融合策略，动态地决定模板融合单元，融合神经网络中的多个层，以形成新的自定义的层，一次性载入计算模板融合单元所需的数据，以减少输入/输出开销。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：