[发明专利]在神经网络推理中实现数据同步的装置和方法

说明书

本申请提供了在神经网络推理中实现数据同步的装置和方法。涉及人工智能(Artificial Intelligence，AI)领域，具体涉及神经网络推理技术。该装置包括：存储器，用于存储第一特征图；神经网络处理器NPU，用于：从所述存储器中获取所述第一特征图，所述第一特征图包含M个分块，M为正整数；利用异步方式对所述M个分块分别执行神经网络模型中至少两层的推理计算以得到M个推理结果，该异步方式是指对每个分块执行完所述神经网络模型中一层的推理计算所得到的中间结果不进行数据同步，并且继续对所述中间结果执行下一层的推理计算；将所述M个推理结果进行数据同步以得到同步后的数据。由于该NPU在执行完神经网络模型中至少两层的推理计算之后才进行数据同步，这使得在神经网络推理过程中进行数据同步的次数较少，进而产生较少的数据搬迁开销。

技术领域

本发明实施例涉及神经网络推理技术，尤其涉及一种在神经网络推理中实现数据同步的装置和方法。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

神经网络作为计算机视觉的一个重要方法，在目标分类、检测等领域应用广泛。输入图像数据，通过训练好的神经网络，计算出所需要的语义信息，例如物体的类别等，这个过程为神经网络推理(Neural Network Inference)。

图1为一种对图像数据执行神经网络推理的架构图，该架构图包括相机(或称摄像头)、图像信号处理器(Image Signal Processor，ISP)和神经网络处理器(Neural networkProcessing Unit，NPU)，具体地，NPU对相机采集的原始数据进行推理包括如下步骤：

步骤1：相机采集原始数据(Raw Data)，由于原始数据和相机滤镜相关，数据格式对肉眼和神经网络皆不友好，且包含较多的噪声数据和不必要的信息，因此，相机将原始数据发给ISP以进行图像处理。

步骤2：ISP在接收到原始数据之后，对原始数据进行相关处理，包括去噪、色域转换、锐化和压缩等步骤，将原始数据转换为图像数据；

步骤3：NPU读取ISP处理后的图像数据，并且加载训练好的神经网络模型，进行神经网络推理，从而得到推理结果。

在上述步骤3中，NPU在执行神经网络推理的过程中，需要对推理过程中产生的多个中间数据进行数据同步，然后基于同步后的数据继续执行后面的推理过程，所谓数据同步是指对产生的数据不继续执行下一步的操作，而是等多个数据到齐之后，将这个多个数据作为整体再执行下一步的操作。由于数据同步点的选择会影响到数据搬迁开销，因此，NPU在执行神经网络推理的过程中，选择何时进行数据同步将会影响到数据搬迁开销，进而影响NPU执行神经网络推理的性能。

发明内容