[发明专利]基于动态可重构脉动张量运算引擎的深度神经网络加速器

说明书

本发明涉及神经网络领域专用应用芯片加速计算架构技术领域，具体公开了一种基于动态可重构脉动张量运算引擎的深度神经网络加速器，其采用动态可重构脉动张量阵列运算引擎单元实现高吞吐量张量乘法计算，采用权重参数存储单元存放权重张量，采用张量排序模块实现稀疏网络权重解包和对网络层参数进行排序优化完成并行流水线运算，采用激活值向量存储单元作为神经网络计算引擎的片内高速数据暂存区，提升数据重复利用率和降低与外存交互，采用累加器和矩阵转置向量单元完成对计算结果累计求和、快速处理矩阵转置和张量维度变换，采用标量运算单元实现网络模型的非线性函数计算，具有资源利用率高，能耗占用低，精度损失低，模型运算速度快等优点。

技术领域

本发明涉及神经网络领域专用应用芯片加速计算架构技术领域，尤其涉及基于动态可重构脉动张量运算引擎的深度神经网络加速器。

背景技术

人工智能技术(AI)的高速蓬勃发展，深度神经网络(DNN)成为当今最为流行的人工智能技术之一，源于其对AI领域中很多问题的解决上展示了极其卓越的表现，但DNN的优秀表现其代价是模型的参数量和计算量呈指数上升，网络更深更复杂，网络层的权重信息和特征图信息的张量乘法运算使得传统的处理器无法有效胜任，传统处理器在此类运算上的吞吐量低和功耗高。

现有的计算模型系统主要基于二维脉动阵列运算引擎，此类运算虽然能加速大部分DNN模型的矩阵运算，但在进行张量乘法运算时，仍然需要对张量进行矩阵化拆分，以矩阵乘法运算为最基本的运算单元，通常张量乘法运算需要使用大量的矩阵乘法运算来替换，这使得此类计算模型系统设计无法高效地对大规模DNN模型进行运算。二维脉动阵列运算系统模型在大规模DNN模型处理张量运算时主要缺点有，运算吞吐率低、运算时延高、资源占用高和能耗占用高。

发明内容

本发明提供基于动态可重构脉动张量运算引擎的深度神经网络加速器，解决的技术问题在于：如何提升大规模DNN模型运算的吞吐率、降低计算时延、降低资源占用和能耗占用，以有效地应对未来更复杂的大规模DNN算法模型。

为解决以上技术问题，本发明提供一种基于动态可重构脉动张量运算引擎的深度神经网络加速器，包括：包括HBM高速内存接口、权重参数存储单元、张量排序模块、激活值向量存储单元、动态可重构脉动张量阵列运算引擎单元、累加器和矩阵转置向量单元、标量运算单元；

所述HBM高速内存接口用于从DRAM外部存储器中分别调入深度神经网络的权重张量、特征图张量至所述权重参数存储单元及所述激活值向量存储单元中；

所述权重参数存储单元用于将自身存储的权重张量并行拍打送入所述张量排序模块的多个张量排序单元，所述激活值向量存储单元用于将自身存储的特征图张量并行拍打送入所述动态可重构脉动张量阵列运算引擎单元；

多个所述张量排序单元用于对送入的所述权重张量进行排序优化，完成张量到矩阵的分解，然后拍打送入所述动态可重构脉动张量阵列运算引擎单元；

所述动态可重构脉动张量阵列运算引擎单元用于根据输入的所述权重张量和所述特征图张量动态重构多个脉动张量阵列运算引擎并分别对其进行并行的乘累加操作，输出对应的乘累加运算结果至所述累加器和矩阵转置向量单元；

所述累加器和矩阵转置向量单元用于对输入的所述乘累加运算结果进行累加缓存和异步处理矩阵转置操作，输出所述权重张量和所述特征图张量的最终运算结果至所述标量运算单元；

所述标量运算单元用于对输入的所述最终运算结果进行特定应用场景下的数据运算操作，输出对应的数据运算结果至所述激活值向量存储单元作为深度神经网络的新的特征图张量参与下一轮计算或直接作为深度神经网络的最终推理结果；

所述HBM高速内存接口还用于从所述激活值向量存储单元中取出深度神经网络的最终推理结果并传输至所述DRAM外部存储器中。