[发明专利]神经网络系统中数据处理的电路和方法

说明书

本申请提供一种神经网络系统中数据处理的电路和方法，能够在神经网络的硬件架构中兼容多种精度的数据格式。该电路包括串行加法电路、第一非线性映射电路、累加电路和第二非线性映射电路，其中，该串行加法电路，串行获取至少一个输入数据中的每个输入数据和该每个输入数据对应的权重参数，对每个输入数据和每个输入数据对应的权重参数进行串行加法运算得到至少一个第一数据；该第一非线性映射电路，对至少一个第一数据中的每个第一数据进行第一非线性映射，获得至少一个第二数据；该累加电路，对至少一个第二数据进行累加；该第二非线性映射电路，对累加电路输出的累加结果进行第二非线性映射，获得输出数据。

技术领域

本申请涉及电路领域，并且更具体的，涉及神经网络系统中的数据处理的电路和方法。

背景技术

神经网络及深度学习算法已经获得了非常成功的应用，并处于迅速发展的过程中，业界普遍预期新的计算方式有助于实现更为普遍、复杂的智能应用。神经网络及深度学习算法等近年来在图像识别应用领域取得了非常突出的成就，因此业界对深度学习算法的优化及高效率实现开始关注并重视，并投入到神经网络优化算法的研究。

由于应用的驱动，业界普遍开始研究并开发高效率的神经网络加速硬件和芯片。研究和实践发现，相对于已经成熟应用的fp32、fp16格式而言，很多低精度的数据格式在神经网络运算中是完全可行的，包括INT8及其他4位，2位，甚至1位的实现方法，因此多精度的数据格式在不同网络、不同应用中有不同的表现，在特定场景下都可以分别满足应用的要求。

因此，如何在神经网络的硬件架构中兼容多种精度的数据格式是亟待解决的问题。

发明内容

本申请提供一种神经网络系统中数据处理的电路和方法，能够在神经网络的硬件架构中兼容多种精度的数据格式。

第一方面，提供了一种神经网络系统中数据处理的电路，该电路包括串行加法电路、第一非线性映射电路、累加电路和第二非线性映射电路，其中，

所述串行加法电路，串行获取至少一个输入数据中的每个输入数据和所述每个输入数据对应的权重参数，对所述每个输入数据和所述每个输入数据对应的权重参数进行串行加法运算得到至少一个第一数据；

所述第一非线性映射电路，对所述至少一个第一数据中的每个第一数据进行第一非线性映射，获得至少一个第二数据，其中，所述第一非线性映射为以2底的指数变换；

所述累加电路，对所述至少一个第二数据进行累加；

所述第二非线性映射电路，对所述累加电路输出的累加结果进行第二非线性映射，获得输出数据，其中，所述第二非线性映射是根据所述神经网络的非线性映射和所述第一非线性映射确定的。

因此，本申请实施例中，通过加法器串行获取输入数据和权值参数，并对所述输入数据和权值参数进行串行加法运算获得至少一个第一数据，接着通过第一非线性映射电路对所述至少一个第一数据进行第一非线性映射获得至少一个第二数据，然后通过累加电路对该至少一个第二数据进行累加，再通过第二非线性映射电路对所述累加电路输出的累加结果进行第二非线性映射，基于此本申请实施例通过将加法器的操作数的输入和计算过程串行化，能够实现将多精度的兼容处理转移到时钟节拍的计数上，因此可以实现多精度兼容的神经网络运算架构。

一种具体的实现方式中，由于神经网络的计算是分级进行的，前一级的输出是后一级的输入，因此对输入数据进行对数变换可以通过前一级的第二非线性映射电路实现，也就是说，前一级的累加和在经过第二非线性映射之后又送回计算单元的输入端，准备执行下一次的计算。可选的，权重参数可以事先计算完，保存在存储器中，在计算的时候临时取到计算单元。

可选的，第二非线性映射为是根据神经网络的非线性映射和所述第一非线性映射的逆映射确定的。具体的，当第一非线性映射是以2为底的指数函数时，第一非线性映射的逆映射为以2为底的对数函数。