[发明专利]一种神经网络池化层加速方法

说明书

本公开属于神经网络技术领域，具体而言涉及一种神经网络池化层加速方法，包括：获取配置参数信息；根据所述配置参数信息得到张量块的信息数据；所述张量块包括输入张量块和输出张量块，所述信息数据包括张量块的缓存地址；基于所述缓存地址获取输入数据；根据所述配置参数信息对所述输入数据进行宽度方向的池化，并将过程数据缓存；基于所述过程数据进行高度方向的池化；重复池化步骤，直至遍历所有输入张量块。以缩短池化运算的耗时。

技术领域

本公开属于神经网络技术领域，具体而言涉及一种神经网络池化层加速方法。

背景技术

在人工智能领域，今年来卷积神经网络得到广泛应用。其基本结构如图结构示意图如图6所示，由输入层、隐藏层和输出层组成，前一层的输出特征数据作为后一层的输入特征，不断相后传递，直至得到网络的最终输出。位于输入层和输出层之间的隐藏层，根据应用场景的不同可以进一步细分为卷积层、池化层和全连接层等线性层，和ReLU、Sigmoid等非线性层(亦称激活层)。

早期的硬件实现方法难以支持较大尺寸的池化窗口，通常需要进行多轮的较小尺寸的池化操作来实现较大尺寸的池化算子，这种实现方式会导致片外存储设备与池化加速单元之间的数据交互量超出原始数据量的若干倍，造成通信带宽紧张。当无法通过小尺寸池化完成时，就需要算法开发人员在保证算法精度的同时修改池化算子参数，给算法人员带来一定压力。

发明内容

本公开正是基于现有技术的上述需求而提出的，本公开要解决的技术问题是提供一种神经网络池化层加速方法以缩短池化运算的耗时。

为了解决上述问题，本公开提供的技术方案包括：

提供了一种神经网络池化层加速方法，包括：获取配置参数信息；根据所述配置参数信息得到张量块的信息数据，所述张量块包括输入张量块和输出张量块，所述信息数据包括张量块的缓存地址；基于所述缓存地址获取输入数据；根据所述配置参数信息对所述输入数据进行宽度方向的池化，并将过程数据缓存；基于所述过程数据进行高度方向的池化；重复池化步骤，直至遍历所有输入张量块。

优选的，所述配置参数信息包括池化层基本信息、输入张量块和输出张量块的相关信息；所述池化层基本信息包括：池化类型、池化窗口高度、池化窗口宽度、池化高度方向步长、池化宽度方向步长、输入数据高度方向边界补零信息和输入数据宽度方向边界补零信息；输入张量块相关信息包括：输入块位置序号、输入张量块高度、输入张量块宽度和输入通道数；输出张量块相关信息包括：输出张量块高度和输出张量块宽度。

优选的，所述张量块的存储方式包括：将沿通道方向拆分成两个维度，分别为低维度的PDI和高维度的T；数据沿通道方向进行存储；当通道方向的数据存储达到PDI边界时，沿宽度方向进行存储；当宽度方向的数据存储达到宽度边界时，沿高度方向进行存储；当高度方向的数据存储达到高度边界时，沿通道方向向高纬度T进行存储。

优选的，所述根据所述配置参数信息得到张量块的信息数据包括，基于所述参数信息和输出张量块元素的信息得到输入张量块元素的高度索引，所述输出张量块元素的信息包括由输出张量块进行四个维度的遍历得到的输出张量块元素的位置信息，所述输入张量块元素的高度索引表示为：其中，n_tih为输入张量块元素的高度索引，n_toh为输出张量块元素的高度索引，S_h为池化高度方向步长，k_h为池化窗口高度，P_h为输入数据高度方向边界补零信息，max_tih为输入张量块元素的高度索引的最大值。