[发明专利]一种在NPU中减少计算资源占用的方法及装置

说明书

本申请提供了一种在NPU中减少计算资源占用的方法及装置，其中NPU包含了用于卷积运算的脉动计算阵列PE array模块，首先获取平均池化的共享除法系数kernel_size，然后将kernel_size扩充为第一卷积核，再将第一卷积核输入PE array模块，通过PE array模块实现所述平均池化。本申请中并未给平均池化设置独立的模块，而是将其映射到原本主要用于实现卷积运算的PE array模块上，将其转换为一类卷积运算，使原有PE array模块可以直接实现任意的平均池化层计算，从而避免了单独的平均池化模块对硬件计算资源的占用，缓解了硬件计算资源紧缺的情况，也降低了NPU的功耗。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种在NPU中减少计算资源占用的方法及装置。

背景技术

人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。随着人工智能技术的快速发展，神经网络（例如深度神经网络、卷积神经网络等）近年来在图像、视频以及语音等多种媒体信息的处理与分析中取得了很大成就。

随着神经网络的不断发展，为了得到更好的效果，技术人员已开始为神经网络设计专门的处理器等硬件设备。其中，基于FPGA（Field Programmable Gate Array，现场可编程门阵列）的通用NPU（Neural Processing Unit，神经网络处理单元）加速器，是一种可以支持多种神经网络的专用处理器，针对AI算法专向进行了优化，其拥有的加速单元只与AI算法有关，从硬件层面上实现AI算法中一些特定公式的快速计算。在NPU中，PE array（脉动计算阵列；PE，Processing Element）模块是实现卷积神经网络中核心卷积运算的重要模块，具体是实现图像（image）和核（kernel）的点乘和加法运算。PE array占据硬件FPGA/芯片中大量的计算资源，工作时会同时进行并行运算以达到高效计算处理的目的。

然而发明人在实现本申请方案的过程中发现，除了实现核心卷积计算的PE array模块占据了大部分的硬件计算资源之外，用于实现池化层（pooling layer）中平均池化（average pooling）操作的模块也需要相当多的硬件计算资源，这就易造成FPGA的硬件计算资源紧缺，功耗增大。

现有技术中，在面对硬件资源紧张的情况时，往往都是在独立的平均池化模块中进行优化，通过调整分割计算流程达到节省计算资源的目的。例如在一种现有技术中，考虑到硬件资源问题，可以将平均池化模块内处理一路数据的计算单元的组成调整为加法器和比较器以减少硬件开销，然而因为需要对至少N路数据进行并行处理，所以其硬件上实际需要N多个计算单元，导致平均池化模块所占用的计算资源依旧较多。在另外一种现有技术中，虽然调整了加速器整体流程，却依旧使用独立的平均池化模块，依旧需要消耗\抢占卷积模块剩余的硬件计算资源，在加速器运行时都会增加整体功耗。

发明内容

本申请提供一种在NPU中减少计算资源占用的方法及装置，以解决卷积神经网络NPU中硬件计算资源紧张的问题。

根据本申请实施例的第一方面，提供一种在NPU中减少计算资源占用的方法，所述方法用于神经网络处理单元NPU，所述NPU中包含用于卷积运算的脉动计算阵列PE array模块；

所述方法包括：

获取平均池化的共享除法系数kernel_size，其中所述kernel_size为用于所述平均池化的池化核的大小；

将所述kernel_size扩充为第一卷积核，其中所述第一卷积核为用于深度卷积计算的卷积核；

将所述第一卷积核输入所述PE array模块以通过所述PE array模块实现所述平均池化。

可选的，将所述kernel_size扩充为第一卷积核，包括：