[发明专利]加速器运算控制方法、系统、存储介质、装置及设备

说明书

本发明提供了一种加速器运算控制方法、系统、存储介质、装置及设备，涉及人工智能技术领域，方法包括：根据加速器所对应的硬件资源对图片数据和模型数据分别进行粒度拆分，得到单位图片数据和单位模型数据；基于卷积原理读取单位图片数据和单位模型数据，以使加速器在卷积运算过程中复用单位图片数据和单位模型数据。本发明实现了卷积运算的细粒度优化，最大程度地复用了图片数据和模型数据，降低了运算单元对总线带宽的需求；实现了数据加载与数据计算并行执行，以及模型数据预加载功能，使得乘加运算阵列不间断的工作，优化了乘加运算任务的pipeline配置，提高了资源利用率和计算效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种加速器运算控制方法、系统、存储介质、装置及设备。

背景技术

目前，云端和边缘端对AI（Artificial Intelligence，人工智能）芯片的算力都有很高的要求，AI算力通常以乘加计算能力为衡量指标。例如，假设AI芯片内部集成了一个二维（2D）的32行64列的int8乘加运算阵列，芯片主频为1GHz，则该乘加运算阵列的算力为64*32*2*1G=4096G，即4T flops（floatingpoint operations per second，每秒浮点运算次数）的算力。为了使AI芯片达到算力要求，开发商通常会在芯片上集成大量的乘加运算单元，堆积出所需的算力。AI芯片常通过多个core（核心）达到更大的算力。

对于卷积神经网络(CNN)，通常由多个卷积层组成，每个卷积层包含卷积运算、激活运算、池化运算等，乘加运算是主要运算，占总计算量的90%以上。卷积运算的特点：运算类型单一，乘加运算为主，其他类型计算占比很小；模型共享，卷积神经网络模型被多张图片共享，即推理过程中模型不变，图片不断变换，易于实现多张图片并行计算；图片共享，当前卷积层的输入feature（特征）数据被当前卷积层的所有的kernel（卷积核）共享，每个卷积层只需加载一次feature数据；每个卷积层中每个kernel与feature的运算都是独立的，kernel之间不具有相关性，很容易实现kernel的并行运算；每个kernel与feature计算时，每个输出结果是kernel与位置相对应的部分feature数据乘加运算得到的，因此，可以将feature划分为多个部分，同时与同一个kernel做卷积运算，实现feature的并行运算。

对于自然语言处理（NLP），主要使用了transformer（一种模型）架构。与CNN类似，NLP的主要计算为矩阵乘，占比达到了99%。

CNN和NLP是最具代表性的AI网络架构，由上述分析可知，两种网络架构的计算类型比较单一，以矩阵运算或卷积运算为主，其他零散的算子为辅。这也决定了ASIC（ApplicationSpecific Integrated Circuit，专用集成电路）类型的AI芯片core的基本架构，即以乘加运算阵列为主，向量运算为主、标量运算单元为辅，设置buffer用来缓存数据，设置高速互联总线用于数据交互，设置高效的逻辑控制器用于解读任务或指令，协调所有资源高效工作。

典型的神经网络模型计算量都非常大，这其中99%的计算都需要用到矩阵乘，也就是说，如果提高矩阵乘的运算效率，就能最大程度上提升AI算力——这也是达芬奇架构设计的核心：以最小的计算代价增加矩阵乘的算力，实现更高的AI能效。

对于TPU（Tensor Processing Unit，谷歌为神经网络构建的一个专用集成电路），其核心运算单元——矩阵乘法单元包含65536个8位乘法和加法单元，用于做矩阵乘加运算。

从以上达芬奇core和TPU这两个代表性的core可知，为加速AI训练推理计算设计的专用ASIC芯片通常由多个core组成，core通常包含乘加运算阵列、向量运算单元、标量运算单元、数据缓存buffer、高效的基于不同指令集的控制器。