[发明专利]在神经网络推理中实现数据同步的装置和方法

权利要求书

1.一种在神经网络推理中实现数据同步的装置，其特征在于，包括：

存储器，用于存储第一特征图；

神经网络处理器NPU，用于：

从所述存储器中获取所述第一特征图，所述第一特征图包含M个分块，M为正整数；

利用异步方式对所述M个分块分别执行神经网络模型中至少两层的推理计算以得到M个推理结果，所述异步方式是指对每个分块执行完所述神经网络模型中一层的推理计算所得到的中间结果不进行数据同步，并且继续对所述中间结果执行下一层的推理计算；

将所述M个推理结果进行数据同步以得到同步后的数据。

2.根据权利要求1所述的装置，其特征在于，所述第一特征图是输入图像，所述装置还包括：

数字图像信号处理器ISP，用于对摄像头采集的原始图像进行图像处理，并将图像处理结果作为所述输入图像存储在所述存储器；

所述NPU从所述存储器中获取所述第一特征图时，具体用于：

从所述存储器中获取所述输入图像。

3.根据权利要求2所述的装置，其特征在于，所述ISP对摄像头采集的原始图像进行图像处理，并将图像处理结果作为所述输入图像存储在所述存储器时，具体用于：

将所述原始图像划分成M个原始图像块；

对所述M个原始图像块依次进行图像处理以得到M个图像块；

将所述M个图像块作为所述M个分块异步存入所述存储器，其中，所述M个图像块为所述图像处理结果。

4.根据权利要求2所述的装置，其特征在于，所述ISP对摄像头采集的原始图像进行图像处理，并将图像处理结果作为所述输入图像存储在所述存储器时，具体用于：

将所述原始图像按块进行图像处理以得到多个图像块；

将所述多个图像块进行数据同步以得到所述图像处理结果，并将所述图像处理结果存储在所述存储器。

5.根据权利要求4所述的装置，其特征在于，所述NPU还用于：

将获取的所述第一特征图划分成所述M个分块。

6.根据权利要求1-5任一所述的装置，其特征在于，所述NPU包括多个处理器核，所述多个处理器核共享一个缓存，所述NPU还用于：

将所述同步后的数据存储在所述存储器和所述缓存中的一个。

7.根据权利要求6所述的装置，其特征在于，所述NPU将所述同步后的数据存储在所述存储器和所述缓存中的一个，具体用于：

将所述同步后的数据的大小和所述缓存的大小进行比较；

在所述同步后的数据的大小大于所述缓存的大小时，将所述同步后的数据存储在所述存储器；

在所述同步后的数据的大小不大于所述缓存的大小时，将所述同步后的数据存储在所述缓存。

8.根据权利要求6或7所述的装置，其特征在于，所述NPU还用于：

从所述存储器或所述缓存中取出所述同步后的数据；

将所述同步后的数据作为第二特征图执行所述神经网络模型中一层或多层的推理计算。

9.根据权利要求8所述的装置，其特征在于，所述NPU在将所述同步后的数据作为第二特征图执行所述神经网络中一层或多层的推理计算时，用于：

利用所述异步方式对所述第二特征图中所包含的多个分块分别执行所述神经网络模型中一层或多层的推理计算。

10.根据权利要求1-9任一所述的装置，其特征在于，所述M个分块中相邻的两个分块之间存在数据依赖。