[发明专利]一种面向神经网络的对数量化装置及方法有效
申请号: | 201910175295.9 | 申请日: | 2019-03-08 |
公开(公告)号: | CN110084362B | 公开(公告)日: | 2021-07-20 |
发明(设计)人: | 韩银和;闵丰;许浩博;王颖 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 神经网络 对数 量化 装置 方法 | ||
本发明提供一种面向神经网络的对数量化装置,及其对应的对数量化机制。该装置通过利用高位数值提取模块与对数量化的查找表模块,实现输入数据的快速且精确对数量化,实现基于对数量化的神经网络输入数据的对数量化操作,可为神经网络对数化参数的运算提供对数输入数据,为进一步简化卷积运算做准备。
技术领域
本发明涉及神经网络处理器体系结构及设计方法,具体来说涉及神经网络模型计算的硬件加速领域,更具体地说,涉及一种面向神经网络的对数量化装置及方法。
背景技术
深度学习技术在近几年得到了飞速的发展,在解决高级抽象认知问题上,例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用并具有出色的表现,因此成为了学术界和工业界的研究热点。深度神经网络是人工智能领域具有最高发展水平的感知模型之一,该类网络通过建立模型模拟人类大脑的神经连接结构,通过多个变换阶段分层对数据特征进行描述,为图像、视频和音频等大规模数据处理任务带来了突破性进展。该模型结构是一种运算模型,由大量节点通过网状互连结构构成,这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权值,被称为权重,与人类神经网络中的记忆相对应。
神经网络加速器的研究目的是将神经网络推向更广泛应用如智能穿戴、智能机器人、自动驾驶以及模式识别等领域。当前神经网络研究的主要挑战在于数据处理的实时性、低功耗、计算资源利用率等性能的提升。
神经网络可对应用中的图像进行快速处理,可通过对目标数据特征进行识别并做出相应决策。其计算过程的主要时间占据部分为卷积的过程,该过程主要将输入的神经元或像素与相应卷积核的权值进行乘累加处理。神经网络芯片的低能耗,灵活性吸引了广大研究者的眼球。为了满足神经网络对实际应用中数据处理的低功耗及成本要求,研究如何提高神经网络处理器对目标数据的运算效率与存储效率具有重要意义。
现有神经网络卷积运算方法以线性的乘累加运算为主,而数据与权值的表示则以正规的定点、浮点表示为主,该运算方法及表示方式可有效完成神经网络数据的前向处理过程。然而,随着应用对神经网络加速器的运算速度与资源利用率,能耗等方面的要求,现有运算方法与数据表示方法需要巨大的乘法与加法单元,其硬件运算过程需消耗较大的能量,同时硬件资源消耗突出,其乘法计算过程需消耗的时间较长。因此,如何实现面向神经网络的能够同时满足速度快和精度高的要求的对数量化硬件加速装置是一个亟待解决的问题。
发明内容
因此,本发明的目的在于克服上述现有技术的缺陷,提供一种新的面向神经网络的对数量化装置及方法。
本发明的目的是通过以下技术方案实现的:
根据本发明的一方面,本发明提供一种面向神经网络的对数量化装置,通过组合取高位位数值与基于对数量化的查找表模块,实现针对输入特征图数据与权重数据的对数量化操作。本发明的一种面向神经网络的对数量化装置,包括:
一个输入接口,用于接收并存储要进行对数量化的二进制数据。
一个取高位模块,用于根据所述输入接口提供的二进制数据确定其最高非零位所在的位置数据;取高位模块内部包括筛选器、多输入或门和多路选通器;其中,筛选器用于筛选和存储输入二进制数据各比特位的比特值并输出筛选结果,每一比特位对应一个位筛选器;多输入或门用于在高比特位的比特值不为零的情况下对其低位筛选器输出抑制信号抑制相应筛选器的输出,次高位以下的各比特值对应的位筛选器均对应一个多输入或门;多路选通器用于存储各比特位对应的位置数据并根据位筛选器的输出选通最高非零位所对应的位置数据进行输出。
一个精细量化模块,用于针对所述二进制数据进行变换得到整数部分为1的一个小数作为其相对数值,对其进行取对数操作得到该相对数值的精确对数量化值;精细量化模块包括移位模块和查找表模块,其中,移位模块用于根据最高非零位所在的位置数据执行输入二进制数据的变换得到相对数值;查找表模块用于执行相对数值对数量化过程中的对数值查找。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910175295.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种运算装置和方法
- 下一篇:一种基于FPGA平台的深度学习模型加速方法