[发明专利]一种神经网络加速协处理器、处理系统及处理方法

说明书

一种神经网络加速协处理器、处理系统及处理方法，该系统包括协处理器，还包括主处理器和存储器；主处理器，用于发送拓展指令；所述存储器，用于存储数据；协处理器，用于接收主处理器所发送的拓展指令，根据接收到的拓展指令，从存储器中读取输入数据，对输入数据进行神经网络计算，得到输出数据，将所述输出数据存入存储器通过设置协处理器，由协处理器来处理卷积神经网络中的耗时操作，主处理器通过拓展指令，控制协处理器对输入数据进行神经网络计算，降低了CPU的利用率，与纯软件相比，提升卷积运算效率达到20倍以上。

技术领域

本发明涉及人工智能和芯片设计领域，具体涉及一种神经网络加速协处理器、处理系统及处理方法。

背景技术

卷积层是卷积神经网络中的核心计算模块，通常卷积层计算量在整个卷积网络计算中占比超过90％。图1展示的是卷积计算一幅输出特征图的过程，每幅输入特征图对应一个卷积核，输入图中不同颜色的虚线框对应着不同的输出，每一个输出是由不同输入图相同位置和卷积核乘积累加而得到。每一个输出是输入的局部信息处理结果，反映了局部的特征信息，同一输入特征图使用相同卷积核进行特征处理，这是卷积网络中的权重共享机制。卷积层可以完成对输入特征图的局部特征提取，通过卷积核在输入特征图上滑动计算完成整个输入特征图的处理。

卷积层的计算公式如公式1，

其中out(f₀,x,y)表示第f₀幅输出特征图中x,y位置对应的值，W是卷积核权重矩阵，而in表示输入特征图，b表示卷积层的偏置，K是卷积核尺寸，S是卷积核的滑动步长，可以看到一个卷积层输出是由N通道输入特征图中相应区域和卷积核进行乘加累加得到。

从公式1可以看出，卷积中包含大量乘加操作，计算量非常大，通过纯软件的方式去实现，运算效率很低，需要开发一种神经网络加速算法以及外协硬件处理器，与AI指令配合实现算法加速。

发明内容

本发明实施例提供一种神经网络加速协处理器、处理系统及处理方法，用以解决当前通过纯软件的方式去处理卷积层计算的运算效率非常低的问题。

本发明一方面的实施例提供一种神经网络加速协处理器，包括控制模块、地址产生模块、乘累加模块和输出饱和模块；

所述地址产生模块用于为输入数据和对应输出数据匹配存储地址；

所述乘累加模块用于进行神经网络卷积运算；

所述输出饱和模块用于限定输出数据的范围，输出运算结果；

所述控制模块用于接收主处理器发送的扩展指令，根据扩展指令控制地址产生模块对输入和对应输出数据匹配地址，按照匹配地址从存储器中读取数据，控制乘累加模块对读取的数据进行卷积计算，控制输出饱和模块输出计算结果，并将输出结果按照匹配的输出数据地址存入存储器中。

优选的，所述扩展指令包括用于初始化卷积参数的配置指令和用于执行卷积运算的运算指令；

所述配置指令为单周期指令，用于配置输入、输出数据的地址、参数和卷积核的参数；

所述运算指令为可变的多周期指令，该指令执行周期数由一级指令中设定的卷积运算的参数决定。

在上述任意一项实施例中优选的，所述配置指令包括下述第一至第六指令；

第一指令用于设定输入、输出张量通道数；

第二指令用于设定输入、输出张量尺寸；

第三指令用于设定卷积核的尺寸和步长；

第四指令用于设定填充大小和滤波器权重数据起始地址；

第五指令用于设定输入、输出数据的起始地址；