[发明专利]一种用于具有多个神经网络层的神经网络的计算执行方法

说明书

本发明公开了一种用于具有多个神经网络层的神经网络的计算执行方法，所述方法包括如下步骤：将第一层的具有相同参数类型的输入分成至少两组；配置上述各组输入的数据格式；读取上述各组的数据；对至少一组输入进行数据对齐；执行所述第一层的运算。本发明针对具有多个神经网络层的神经网络计算问题，节省存储空间，降低存储访问带宽/功率的比值，缩短处理时间进而提升运算性能。

技术领域

本发明公开了一种用于具有多个神经网络层的神经网络的计算执行方法，涉及低功耗设计、神经网络运算等工程技术领域。

背景技术

对于神经网络中各层的处理，传统方法是对各层具有相同参数类型的输入采用同一种数据格式。但这种方法会占用更多的存储空间、更多的存储访问带宽/功率，耗费更多的处理时间。

现有技术中，为了实现更深度的神经网络，例如1001层神经网络，与传统的“后激活”设计观点相反，何恺明、张祥雨、任少卿、孙剑在《深度残留网络中的恒等映射》中提出了权重层的“预激活”的方法。如图3所示，加法层将两路输入相加，图3(a)中加法层将Xl与 BN的结果相加。图3(b)中加法层将Xl与权重的结果相加。

在CVPR 2017上，也有人提出采用密集连接卷积网络的方法，DenseNet算法提出“稠密块”概念，给出了增长率为k＝4的5层稠密块，如图4所示。考虑在一个卷积网络中传递的单个图像 X₀，该网络包含L层，每层都实现了非线性变换H_l(·)，其中l表示层的索引。H_l(·)可以是诸如批量归一化(BN)、线性校正单元(ReLU)、池化或卷积(Conv)等操作的复合函数。将第l层的输出表示为X_l。如果每个H_l函数输出k个特征图，那么第l层有k₀+k×(l-1)个输入特征图，其中k₀是输入层的通道数。与其它网络架构的一个重要的区别是，DenseNet可以有非常窄的层，比如＝12。将超参数k称为网络的增长率。尽管每层只产生k个输出特征图，但它通常具有更多的输入。一个1×1的卷积层可以被看作是瓶颈层，放在一个3×3的卷积层之前以起到减少输入特征图数量的作用，从而提高计算效率。比如另一个名为DenseNet-B版本的H_l是这样的：BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)。在两个连续的稠密块之间，使用一个1×1的卷积层接一个2×2的平均池化层作为过渡层。

然而，总体上来说，现有技术在对多个神经网络层的架构进行计算处理时，普遍存在大量占用存储空间、占用存储访问带宽/功率，计算处理时间较长等问题。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种用于具有多个神经网络层的神经网络的计算执行方法，针对多个神经网络层的架构计算处理问题提供更优的解决方案。

本发明为解决上述技术问题采用以下技术方案：

本发明公开了一种用于具有多个神经网络层的神经网络的计算执行方法，所述方法包括如下步骤：

将第一层的具有相同参数类型的输入分成至少两组；配置上述各组输入的数据格式；读取上述各组的数据；对至少一组输入进行数据对齐；执行所述第一层的运算。

作为进一步优选方案，所述具有相同参数类型的输入为输入特征图，并且每组输入特征图的来自不同的上一层，或者，每组输入特征图的来自不同的通道。所述具有相同参数类型的输入为权重，或者为缩放因子。

本发明还公开另一种用于具有多个神经网络层的神经网络的计算执行方法，所述方法包括如下步骤：

读取神经网络模型的第一部分的第一组输入的至少一部分；将所述读取的第一组输入配置为第一数据格式；执行所述神经网络模型的第一部分的运算；读取神经网络模型的第二部分的第一组输入的至少一部分；将所述读取的第一组输入配置为第二数据格式；执行所述神经网络模型的第二部分的运算。