[发明专利]一种用于非精确计算神经网络的电路设计方法

说明书

本发明提供了一种用于非精确计算神经网络的电路设计方法，包括以下步骤：确定位宽，用以确定非精确乘法器的位宽选择范围；生成电路结构，通过一种以电路中结点重要性排名为驱动的启发式随机算法，对每一种备选位宽，生成多种具体电路，所述多种具体电路就是所有可选的非精确乘法器结构；独立替换，将神经网络中的每个精确乘法器独立地替换为某种结构的非精确乘法器，得到的所有可能方案组成一个解空间；遍历比较，在所述解空间内随机选择一部分方案，遍历每种方案下非精确神经网络的训练和测试效果，得到最优解。本发明在运算结果准确度受到的影响不大的情况下，极大地减少了面积和功耗，提升了运算速度。

技术领域

本发明涉及人工神经网络技术领域，特别涉及一种用于非精确计算神经网络的电路设计方法。

背景技术

人工神经网络是机器学习领域的新兴热门算法，在人脸识别、目标检测等众多细分领域都取得了很好的成就。然而其对硬件性能有着极大的依赖，往往需要服务器级别的CPU和GPU完成训练和识别，在体积和功耗上都成本惊人。在智能设备日渐小型化的今天，人工神经网络的这种特点使得个人智能设备不得不始终联网运行，阻碍了其速度的进一步提升。而如果要为人工神经网络专门设计加速器芯片，其面积和功耗都需要非常压缩和节省。

非精确计算是信号处理和科学计算领域一个应用广泛的方法，其基本思想是对计算结果的准确度或精度要求不高时，在计算过程中进行适度的简化，从而节省运行时间、功耗等其他更在意的资源。人工神经网络天生非常符合非精确计算的应用条件，因为其运算过程中有大量个体意义不明中间数据，即使有小幅误差也不会对最后结果产生明显影响。另一方面，其反复训练过程也使其对计算误差可以逐渐适应。因此，在人工神经网络执行中采用非精确运算单元，是在需要提升速度、降低功耗时非常适合的手段。

但是，非精确运算单元并非某种特定的结构，整个神经网络中数以万计的运算单元分别采用哪一种非精确结构才能达到最佳效果也难以确定。非精确计算思想在神经网络运算中的具体应用还面临着困难。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明提供了一种用于非精确计算神经网络的电路设计方法。

(二)技术方案

根据本发明的一个方面，提供了一种用于非精确计算神经网络的电路设计方法，包括以下步骤：确定位宽，用以确定非精确乘法器的位宽选择范围；生成电路结构，对每一种备选位宽，生成多种具体电路，所述多种具体电路就是所有可选的非精确乘法器结构；独立替换，将神经网络中的每个精确乘法器独立地替换为某种结构的非精确乘法器，得到的所有可能方案组成一个解空间；遍历比较，在所述解空间内随机选择一部分方案，遍历每种方案下非精确神经网络的训练和测试效果，得到最优解。

在本发明的某些实施例中，确定位宽的具体步骤为：

确定上界；确定下界；确定步长。

在本发明的某些实施例中，在确定上界的步骤中，把精确乘法器的位宽作为上界；在确定下界的步骤中，把精确乘法器的位宽的一半作为下界。

在本发明的某些实施例中，在确定步长的步骤中，把步长设为2。

在本发明的某些实施例中，在生成电路结构的步骤中，采用一种以电路中结点重要性排名为驱动的启发式随机算法来生成电路结构。

在本发明的某些实施例中，所述启发式随机算法的具体步骤为：

给出当前位宽下精确乘法器的卡诺图和逻辑门电路；

计算所述逻辑门电路的硬件开销；

进入遍历循环：将卡诺图中的任意若干位翻转，得到新卡诺图，计算新逻辑门电路的结果误差和硬件开销，如果结果误差在容忍度内，硬件开销是当前最小，则将当前卡诺图和逻辑门电路及其结果误差和硬件开销作为当前的最优解；