[发明专利]一种模拟神经网络处理器的误差校准方法及装置有效
申请号: | 201810580960.8 | 申请日: | 2018-06-07 |
公开(公告)号: | CN110580523B | 公开(公告)日: | 2022-08-02 |
发明(设计)人: | 贾凯歌;乔飞;魏琦;樊子辰;刘辛军;杨华中 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;李相雨 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模拟 神经网络 处理器 误差 校准 方法 装置 | ||
1.一种模拟神经网络处理器的误差校准方法,所述方法在模拟神经网络NN处理器中执行,其特征在于,包括:
若检测到算法更新和/或误差参数调整,解析所述NN的网络结构,以获取所述网络结构中的全连接层的可训练权重参数;
采用随机梯度下降SGD算法对所述可训练权重参数进行训练;其中,在学习过程中的损失值和梯度采用对数量化;所述学习过程是在数字域进行的;
采用移位运算代替所述学习过程中的反向传播和可训练权重参数更新使用的乘法运算;
存储学习好的权重参数,以供所述NN根据所述权重参数校准所述处理器的误差;
采用高于预设精度的分辨率存储所述可训练权重参数和所述权重参数;
获取所述网络结构中的卷积层中的权重参数,并以低于预设精度的分辨率存储所述卷积层中的权重参数;
所述NN的使用阶段包括推理阶段和学习阶段;相应的,所述方法还包括:
存储学习好的权重参数的步骤之后,冻结所述学习阶段,激活所述推理阶段;
所述方法还包括:
若检测到算法更新和/或误差参数调整,冻结所述推理阶段,并执行上述校准所述处理器的误差的步骤,以激活所述学习阶段。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述NN的反向阶段在终端的除所述处理器以外的其他处理器中执行;其中,所述终端装载有所述处理器和所述其他处理器。
3.根据权利要求2所述的方法,其特征在于,所述其他处理器包括CPU或FPGA。
4.一种模拟神经网络处理器的误差校准装置,所述装置包含有模拟神经网络NN处理器,其特征在于,包括:
获取单元,用于若检测到算法更新和/或误差参数调整,解析所述NN的网络结构,以获取所述网络结构中的全连接层的可训练权重参数;
量化单元,用于采用随机梯度下降SGD算法对所述可训练权重参数进行训练;其中,在学习过程中的损失值和梯度采用对数量化;所述学习过程是在数字域进行的;
运算单元,用于采用移位运算代替所述学习过程中的反向传播和可训练权重参数更新使用的乘法运算;
存储单元,用于存储学习好的权重参数,以供所述NN根据所述权重参数校准所述处理器的误差;采用高于预设精度的分辨率存储所述可训练权重参数和所述权重参数;获取所述网络结构中的卷积层中的权重参数,并以低于预设精度的分辨率存储所述卷积层中的权重参数;
所述NN的使用阶段包括推理阶段和学习阶段;相应的,所述装置还用于:
存储学习好的权重参数的步骤之后,冻结所述学习阶段,激活所述推理阶段;若检测到算法更新和/或误差参数调整,冻结所述推理阶段,并执行上述各单元,以激活所述学习阶段。
5.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。
6.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810580960.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:卷积计算方法及相关设备
- 下一篇:使用灵活浮点张量的人工神经网络训练