[发明专利]面向参数量化神经网络专用处理器实现高精度计算的方法在审
申请号: | 201910069520.0 | 申请日: | 2019-01-24 |
公开(公告)号: | CN109800871A | 公开(公告)日: | 2019-05-24 |
发明(设计)人: | 胡绍刚;徐胜;黄知达;乔冠超;于奇;刘洋 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 成都点睛专利代理事务所(普通合伙) 51232 | 代理人: | 孙一峰 |
地址: | 611731 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 专用处理器 存储单元 精度计算 权重 编码方式 参数量化 权重矩阵 相乘 神经网络参数 神经网络技术 编码形式 存储空间 计算参数 输入位数 位数扩展 脉冲数 期望 脉冲 低位 功耗 突触 运算 量化 赋予 | ||
1.面向参数量化神经网络专用处理器实现高精度计算的方法,其特征在于,包括以下步骤:
步骤1,对量化神经网络进行训练,获得训练好的神经网络参数;
步骤2,确定计算精度及输入路数:根据神经网络计算期望获得的精度、量化神经网络专用处理器每个权值单元精度,确定每位突触权值在量化神经网络上映射时所需的输入路数、突触权值存储单元个数;
步骤3,确定参数编码方式;
步骤4,根据所选编码方式获取每路输入权重,即每路的权重与编码方式相同;
步骤5,根据每路输入权重对每路输入信号编码;
步骤6,对权值矩阵各权值存储单元编码;
步骤7,获得编码的结果后,保持激活函数不变或等价、神经网络层数相同、神经元结构不变,在参数量化神经网络专用处理器上获得高精度计算网络;
步骤8,将获得的高精度计算网络映射到参数量化神经网络专用处理器;
步骤9,输入并计算;
步骤10,获得计算结果。
2.根据权利要求1所述的面向参数量化神经网络专用处理器实现高精度的计算方法,其特征在于,所述步骤2中,还可以根据所需要的计算精度确定并扩展输入路数,扩展倍数为期望精度与量化神经网络专用处理器每个权值单元精度的商向上取整;将每位突触输入都扩展为多路输入,以实现多种精度的输入。
3.根据权利要求2所述的面向参数量化神经网络专用处理器实现高精度计算的方法,其特征在于,所述步骤5中,根据每一路被赋予的权值与最低位输入的权值的商,将每一路的输入编码为一个周期内与商相等的输入脉冲数量或脉冲大小,实现带权值的输入。
4.根据权利要求3所述的面向参数量化神经网络专用处理器实现高精度计算的方法,其特征在于,所述步骤6中,对参数矩阵的参数存储单元进行编码,利用参数存储单元的编码与各路输入进行相乘,将各路带权重的输入进行组合,以实现所需要的位数更高的计算精度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910069520.0/1.html,转载请声明来源钻瓜专利网。