[发明专利]网络处理器和网络运算方法

说明书

本公开提供了一种网络处理器和网络运算方法，所述网络处理器包括：存储器、高速暂存存储器和异构内核；其中，所述存储器，用于存储神经网络运算的数据和指令；所述高速暂存存储器，通过存储器总线与所述存储器连接；所述异构内核，通过高速暂存存储器总线与所述高速暂存存储器连接，通过高速暂存存储器读取神经网络运算的数据和指令，完成神经网络运算，并将运算结果送回到高速暂存存储器，控制高速暂存存储器将运算结果写回到存储器。本公开网络处理器和网络运算方法能减少网络计算的功耗开销，并能充分利用网络的并行性，由此减少网络运算的成本，提高网络运算的效率。

本公开是申请号为201880001242.9中国专利的分案申请，母案专利的内容皆引用于此。

技术领域

本公开涉及人工智能技术领域，更具体地涉及一种网络处理器和网络运算方法。

背景技术

人工神经网络(ANN)从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按照不同的连接方式组成不同的网络。目前，人工神经网络在很多领域都取得了很大的进展，在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域被广泛用以解决实际问题。

单核神经网络处理器作为一种新型专用处理器，采用专门的指令，充分利用神经网络运算的并行性来进行神经网络运算。但由于单核神经网络处理器需要兼容多数的神经网络模型，对于已有的不同类型的神经网络以及不同规模的神经网络运算都需要提供支持，这使得已有的单核神经网络处理器结构复杂、成本昂贵，且对于规模较小，结构简单的神经网络运算以及如脉冲神经网络(SNN)等简单神经网络模型的运算，也存在着浪费硬件资源和功耗开销过大的问题，同时，单核神经网络处理器没有针对神经网络运算过程中不同层之间的并行性进行加速，仍存在很大的优化空间。

由此，针对不同神经网络模型以及神经网络运算的规模，在充分利用神经网络运算过程中层内的并行性和不同层之间的并行性的条件下来完成神经网络运算和充分利用神经网络运算装置，减少功能部件冗余已经成为神经网络运算装置的改进方向。

发明内容

(一)要解决的技术问题

本公开提供了一种网络处理器和网络运算方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种神经网络处理器，包括：存储器、高速暂存存储器和异构内核；其中，

所述存储器，用于存储神经网络运算的数据和指令；

所述高速暂存存储器，通过存储器总线与所述存储器连接；

所述异构内核，通过高速暂存存储器总线与所述高速暂存存储器连接，通过高速暂存存储器读取神经网络运算的数据和指令，完成神经网络运算，并将运算结果送回到高速暂存存储器，控制高速暂存存储器将运算结果写回到存储器。

在一些实施例中，所述异构内核包括：

多个运算内核，其具有至少两种不同类型的运算内核，用于执行神经网络运算或神经网络层运算；以及

一个或多个逻辑控制内核，用于根据神经网络运算的数据，决定执行神经网络运算或神经网络层运算的运算内核类型。

在一些实施例中，所述多个运算内核包括x个通用内核和v个专用内核；其中，所述专用内核专用于执行指定神经网络/神经网络层运算，所述通用内核用于执行任意神经网络/神经网络层运算；

所述逻辑控制内核，用于根据神经网络运算的数据，决定由所述专用内核和/或所述通用内核执行神经网络运算或神经网络层运算。

在一些实施例中，所述通用内核为cpu，所述专用内核为npu。