[发明专利]一种面向人工神经网络的三层结构可配置近似位宽加法器

说明书

本发明公开了一种面向人工神经网络的三层结构可配置近似位宽加法器，属于基本电子电路的技术领域，包括高位精确加法器部分、中位可配置加法器部分和低位近似加法器部分，中位可配置加法器部分的每个单比特可配置加法器可独立配置成精确加法器或近似加法器，从而实现整个三层加法器近似位宽的可调。可在人工神经网络的计算过程中根据各个网络层的容错性差异动态调整近似位宽，对于容错性较好的网络层适当增加近似位宽，降低计算功耗，对于容错性较差的网络层适当减少近似位宽，保证计算精度，解决了传统两层结构的近似加法器因固定近似位宽无法充分发挥网络容错性的问题，保证网络计算精度损失尽量小的同时，进一步降低计算功耗。

技术领域

本发明涉及一种面向人工神经网络的三层结构可配置近似位宽加法器，涉及人工智能近似计算，属于基本电子电路的技术领域。

背景技术

人工智能概念由来已久，但具体的实现技术多种多样，一直在发展当中，而近年来人工智能的应用越来越广泛，智能程度也越来越高，这得益于人工神经网络的发展。目前，人工神经网络是人工智能的主流实现技术，它是由大量信息处理单元高度互连而成的网络，是对人脑的抽象和模拟，而其中的信息处理单元类似大脑的神经元，信息处理单元接受一组输入，每个输入具有不同的权重，信息处理单元将输入按权重叠加后经过非线性函数激活输出，然后继续传递给下一个信息处理单元，最终通过输出层输出计算结果。人工神经网络的结构让其具备很强的适应性，针对不同的问题，通过调整网络结构，并且用一定数量已知样本对网络进行训练，就可以让其具有对特定问题推理的能力，从而具备自主智能处理问题的能力，而且人工神经网络具有很强的统计性，无需特别关心网络内部的计算过程，将重点放在样本数据的处理以及网络结构的调整上，就可以训练出一个效果很好的网络。人工神经网络的这些优势推动了人工智能的发展以及普及，但同时也带来另一方面的问题。

人工神经网络规模一般比较庞大，导致在一次前向推理过程中的计算量也很庞大，这对人工智能的普及是致命的。移动端的处理器在执行人工神经网络算法时，面对庞大的计算量往往不能满足要求，更严重的是大量的计算会加大算法执行的功耗，并且带来很大的延时，这些都是人工神经网络的缺点，在应用到移动端时会显现的更加严重。不过人工神经网络具有很强的容错性，也就是说网络内部计算过程中出现的一些错误并不会严重影响整个网络最后的输出结果，而近似计算技术非常适合容错性应用。近似计算技术是一种新兴的高能效设计技术，它的计算过程并非完全正确，而是允许一定的错误率，但近似计算通常采用精简计算逻辑，简化了计算过程，大大减少了系统进行计算所消耗的能量。近似计算的方法牺牲了一定的计算准确率和精度，却可以大大降低电路能耗，它是能耗和计算精度的一种折中。近似计算可以在电路、架构、算法三个层面实现，而电路级别的近似计算主要是通过用近似计算单元替换精确计算单元来实现。结合人工神经网络和近似计算的特点，将电路级别的近似计算技术运用到人工神经网络，就可以在保证网络最后输出质量轻微损失的前提下，大大降低网络的计算功耗。

在电路级别的近似计算技术中，有很多已有的近似加法器，例如低位或门加法器、近似镜像加法器，它们在计算时会出现轻微错误，但功耗却大大降低。这些近似加法器在实际应用时都采用两层结构，高位采用精确加法器，低位采用近似加法器，两个部分的位宽都是固定的，然而它们却不适合直接应用到人工神经网络中，因为人工神经网络是一种多层网络结构，而每一层的容错性不同，研究表明卷积层的容错性明显好于全连接层，并且网络层越远离输出层容错性越好，而人工神经网络算法由神经网络加速器中同一组处理单元循环执行，而如果直接使用两层结构的近似加法器，神经网络加速器的处理单元在执行不同网络层算法时都采用一样的近似位宽，统一的近似位宽对于容错性较差的网络层来说过大则会严重影响计算精度，而对于容错性较好的网络来说过小则不能充分发挥其容错性，这样会限制近似计算为人工神经网络带来的收益。

发明内容

为了克服传统两层结构的近似加法器在人工神经网络中由于位宽固定而无法充分发挥神经网络各层容错性的问题，以及为了提高近似计算为人工神经网络带来的整体收益，本发明提供了一种面向人工神经网络的三层结构可配置近似位宽加法器，能够在保证人工神经网络输出质量轻微损失前提下大幅降低网络计算功耗。