[发明专利]一种低位宽卷积神经网络可重构计算单元有效
申请号: | 201810318783.6 | 申请日: | 2018-04-11 |
公开(公告)号: | CN108647779B | 公开(公告)日: | 2021-06-04 |
发明(设计)人: | 曹伟;王伶俐;罗成;谢亮;范锡添;周学功 | 申请(专利权)人: | 复旦大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06F15/78 |
代理公司: | 上海正旦专利代理有限公司 31200 | 代理人: | 陆飞;王洁平 |
地址: | 200433 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 低位 卷积 神经网络 可重构 计算 单元 | ||
本发明公开了一种低位宽卷积神经网络可重构计算单元。该单元包括:若干个可重构移位累加模块、多路选通器和量化处理模块;可重构移位累加模块包括控制器、第一寄存器、第二寄存器、第三寄存器和移位累加器;本发明利用网络离散性构建控制器、第一寄存器、第二寄存器、第三寄存器和移位累加器,其通过控制器判断当前周期的定点数数据和指数权重是否为零值,一旦检测当前周期的定点数数据和指数权重为零,则根据第一寄存器发出的第一触发信号和第二寄存器发出的第二触发信号控制所述第三寄存器输出当前周期移位累加数据;本发明既能实现4比特和8比特的灵活定点乘累加运算,还能提高移位累加运算速率,降低运算占用的内存和功耗。
技术领域
本发明涉及可重构计算技术领域,特别是涉及一种低位宽卷积神经网络可重构计算单元。
背景技术
随着人工智能的发展,深度学习在语音识别、计算机视觉和自动驾驶等领域取得了巨大的成功,推动这些领域进一步发展。而推动深度学习研究发展的核心技术便是卷积神经网络。采用卷积神经网络(Convolutional Neural Network)的目标识别技术在2012年举办的大规模图像识别竞赛ILSVRC2012中击败了传统的图像识别方法,宣告了深度学术时代的到来。而随着深度学习技术的不断发展,卷积神经网络结构也被不断优化,识别性能也不断提升。而在2015年举办的大规模图像识别竞赛ILSVRC2015上,卷积神经网络第一次超越人类的图像识别能力。这一里程碑事件标志着深度学习技术的巨大成功。
随着卷积神经网络性能的不断提升,网络结构也变得越来越复杂,对应着更多计算需求和存储需求。为了支持卷积神经网络计算,通常将网络处理流程运行在服务器和数据中心上,与数据中心进行数据交互时,需要传输大量的数据,因此带来极大的延时,阻碍了卷积神经网络在智能手机、智能车等嵌入式设备中的应用。为了解决这一问题,学术界和工业界开始研究如何部署卷积神经网络到嵌入式硬件系统的加速器上,因此 许多有效的卷积神经网络加速器已经被设计成具有专门的计算单元(PE),通常对不同的卷积神经网络模型使用固定的计算单元。由于卷积神经网络的多样性,当网络模型发生变化时,固定的计算单元可能不适合,这将增加数据移动并损害功率效率。而且,它们的卷积映射方法对于各种卷积参数来说不是很可缩放的,网络形状和计算资源之间会出现不匹配,从而降低资源利用率和性能。因此,如何针对不同网络设计可重构计算单元成为本领域重点研究的内容。
现有的可重构计算单元基本上采用专有DSP(Digital Signal Processing数字信号处理)做计算,而DSP计算单元在设计上是为了浮点型运算设计的,在普通的浮点卷积神经网络硬件设计中,通常采用DSP单元做乘累加运算(Multiply-and-Accumulat,MAC),运用一个DSP可以在一个时钟周期内完成一次乘累加运算。但是DSP计算单元不适合进行对低位宽的乘累加运算,这一缺点使其在低位宽硬件设计上不能发挥其全部能力。
为了解决这一问题,Xilinx公司推出了一种特殊的DSP映射技术,针对Xilinx推出的FPGA芯片设计,使得每个FPGA片上DSP计算单元能够实现并行的两次的八比特乘累加运算。这一技术充分发挥了FPGA片上DSP的计算能力,提高了其FPGA的面积和功耗性能。但是,这一技术适用范围过于狭窄,仅能用于八位宽的定点乘累加运算,不能适用于指数卷积神经网络的特殊运算需求。基于上述问题,如何克服上述问题,成为本领域亟需解决的问题。
发明内容
本发明的目的是提供一种低位宽卷积神经网络可重构计算单元,以实现指数卷积神经网络的运算需求,既能实现4比特和8比特的灵活定点乘累加运算,还能提高移位累加运算速率,降低运算占用的内存和功耗。
为实现上述目的,本发明提供一种低位宽卷积神经网络可重构计算单元,所述低位宽卷积神经网络可重构计算单元应用于指数卷积神经网络的位移累加运算,其包括:若干个可重构移位累加模块、多路选通器和量化处理模块;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于复旦大学,未经复旦大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810318783.6/2.html,转载请声明来源钻瓜专利网。