[发明专利]一种用于量化卷积神经网络的可配置近似乘法器及其实现方法

说明书

本发明公开了一种用于量化卷积神经网络的可配置近似乘法器及其实现方法，该可配置近似乘法器包括符号扩展模块、子乘法器模块和近似加法器；符号扩展模块将长位宽有符号定点数乘法拆分为两个短位宽有符号定点数乘法；子乘法器模块包括若干子乘法器，每个子乘法器仅接收一个来自符号扩展模块输出的有符号定点数，结合另一个输入完成一次有符号定点数乘法；近似加法器将子乘法器模块输出的结果进行合并，得到长位宽有符号定点数乘法的最终结果。本发明针对两输入比特位长不相等的有符号定点数乘法运算，有明显的速度和能效提升；在具有大量乘法运算的量化卷积神经网络中，其优势将得到最大程度的体现。

技术领域

本发明涉及低功耗设计、近似计算、卷积神经网络等工程技术领域，特别涉及一种用于量化卷积神经网络的可配置近似乘法器及其实现方法。

背景技术

深度学习由于其在各种任务中的准确性，鲁棒性和效率，在过去几年中取得了巨大成功。深度学习通常采用卷积神经网络(CNN)架构，每秒可进行数百万到数十亿的乘法和累加(MAC)操作。与传统的机器学习技术相比，深度学习具有更加密集的计算。因此，能效(即每次操作的能量消耗)已成为深度学习实施和部署的关键，对于希望节能并满足严格功率限制的移动和嵌入式设备尤其如此。

神经网络的能量分解表明，随着大量的并发卷积运算，MAC似乎成为能源效率的瓶颈。尽管乘法器是一种已经被广泛研究了数十年的常见的算术部件，但过去的重点主要放在计算准确性和性能上。为了提高其能效，参数量化方法被提出，用以降低操作数的精度(即比特宽度)，并且在保持相似精度的同时实现更快的速度。但是这种策略是特定于应用的，因此需要针对不同场景的进行特定训练和开销调整。

另一方面，CNN由于其深度和多通道结构具有固有的容错性，这允许设计者进一步从量化和使用近似算法来提高能量效率。近似算法可以消耗更少的面积和能量来计算近似解，且对CNN的最终精度影响很小。因此，除了参数量化之外，近似计算被认为是探索准确性和效率之间权衡的一种有希望的替代方案。作为最基本的算术运算和MAC的一部分，基于不同进位链或分段结构的假设，已经提出了各种近似加法器。一个常见的假设是均匀分布的输入可以防止长的进位链。研究人员还提出了针对部分乘积和部分乘积压缩树的多种近似方法。然而，大多数设计具有固定的位宽，并且在没有额外的设计努力的情况下很难适应各种深度的学习场景。

最近，动态精度缩放(DAS)的概念已被用于乘法器设计，以适应各种场景而无需对硬件架构进行重新设计。DAS乘法器采用如图1中a)所示的阵列架构，以支持最多4位的乘法。当计算具有较短位宽的乘法(例如2位)时，如图1中b)所示，仅使用该架构的一部分来减小其关键路径长度。然而，由于其对角线形状的关键路径，在这种情况下，大多数乘法器硬件电路(比较图1中a)和图1中b)时几乎为75％)实际上是无效的，从而造成资源浪费并损害能效。对于量化的CNN，这种DAS乘法器的效率甚至更差，其权重通常具有比输入更小的比特宽度，例如，对于16或32比特输入，权重仅为8比特。在具有不等比特宽度的操作数中的这种不对称性，造成基于阵列的DAS乘法器不是一种理想的应用。

综上，提供一种用于量化卷积神经网络的可配置近似乘法器，是解决卷积神经网络中能效、面积和准确性平衡的关键。

发明内容

本发明的目的在于针对目前量化神经网络中乘法器能效的现有技术的不足，提供了一种用于量化卷积神经网络的可配置近似乘法器，用于有符号定点数乘法运算。在两输入的比特位宽不等长时，具有面积开销小、计算速度快，功耗小的优点。

本发明的目的是通过以下技术方案来实现的：一种用于量化卷积神经网络的可配置近似乘法器，该可配置近似乘法器包括符号扩展模块、子乘法器模块和近似加法器；

所述符号扩展模块将长位宽有符号定点数乘法拆分为两个短位宽有符号定点数乘法，拆分原则为：将表示范围在-2^n-2到2^n-2-1的n比特有符号定点数表示为两个n/2位的有符号定点数；