[发明专利]一种基于深度学习加速器实现单广播多运算的方法

说明书

本发明公开一种基于深度学习加速器实现单广播多运算的方法，该方法包括：在加速器的乘法器阵列中为指定乘法体配置多个用于存储中间结果的中间值寄存器；执行深度学习的计算过程中，当需要将输入特征值与对应权重值进行乘法运算时，将输入特征值与对应权重值的运算结果存储至对应的中间值寄存器中以用于下次计算时使用，直至完成输出特征值的计算。本发明具有实现方法简单、能够实现深度学习加速器的单广播多运算，且成本低、数据利用率高、能耗低等优点。

技术领域

本发明涉及深度学习加速器技术领域，尤其涉及一种基于深度学习加速器实现单广播多运算的方法。

背景技术

深度神经网络(DNN)是人工智能应用的基础，包括自动驾驶汽车、癌症检测、计算机视觉、语音识别和机器人、复杂游戏等各种应用。DNN在人工智能任务之中的精度非常高，甚至能够超越人类的准确率，DNN的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征，但是深度学习的复杂度较高。在深度学习中，神经网络的层级数量十分巨大，当前神经网络通常可以达到5到1000多层，众多的层级会大大提高所需的能耗、存储空间以及计算复杂度，而如执行DNN推断处理的嵌入平台有着严格的能耗、计算和存储成本限制。当DNN推断在云中执行时，如语音识别等应用经常有强烈的延迟需求。因此如何能使得DNN高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本，成为人工智能系统之中能够广泛部署DNN的关键。

DNN能获得出众准确率的代价是高计算复杂性成本，为提高计算效率，目前通常是采用如GPU的计算引擎进行计算，通过实现数据间的并行性来提高计算效率。但是目前深度学习加速器在计算时候，通常都是取一次需要的输入特征值，完成计算后就将该数据丢弃，下次需要使用该数据时再次取出该值，而是在深度学习算法中，卷积运算输入特征值的重复利用率非常高，在加速器硬件中一次取数的成本是昂贵的，采用上述每次取数完成计算后就丢弃数据，在下次需要使用该数据时再取值的方式会造成大量的能耗浪费，无法充分利用计算过程中的数据，使得深度学习计算的能耗、成本仍然较高。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、能够实现深度学习加速器的单广播多运算，且成本低、数据利用率高、能耗低的基于深度学习加速器实现单广播多运算的方法。

为解决上述技术问题，本发明提出的技术方案为：

一种基于深度学习加速器实现单广播多运算的方法，该方法包括：在加速器的乘法器阵列中为指定乘法体配置多个用于存储中间结果的中间值寄存器；执行深度学习的计算过程中，当需要将输入特征值与对应权重值进行乘法运算时，将输入特征值与对应权重值的运算结果存储至对应的所述中间值寄存器中以用于下次计算时使用，直至完成当前输出特征值的计算。

作为本发明的进一步改进：当执行卷积计算时，每次将输入特征值与对应权重值进行乘法运算后，将运算结果存储在各所述中间值寄存器中，并将乘法运算结果与对应的所述中间值寄存器中存储的上一次计算结果进行加法运算，以完成一次乘加运算，将加法运算结果存储回对应的所述中间值寄存器中以用于下一次的加法运算，直至完成输出特征值的计算。

作为本发明的进一步改进：还包括预先将各所述中间结果寄存器初始化为0，在完成一个完整的输出特征之计算并输出后，将对应的所述中间结果寄存器重新恢复为0。

作为本发明的进一步改进：具体为每个需参与计算的乘法体配置一组中间值寄存器。

作为本发明的进一步改进：对应计算各输入特征值的乘法体共用一组中间值寄存器。

作为本发明的进一步改进，执行卷积计算时的具体步骤为：

S1.为乘法体阵列中每个乘法体配置中间值寄存器R0～Rn，并将各所述中间值寄存器的值初始化为0；