[发明专利]深度神经网络硬件实现的基于直方图的每层数据格式选择在审
申请号: | 201811301247.1 | 申请日: | 2018-11-02 |
公开(公告)号: | CN110059810A | 公开(公告)日: | 2019-07-26 |
发明(设计)人: | 詹姆斯·因贝尔;卡加泰·迪基奇 | 申请(专利权)人: | 畅想科技有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 林强 |
地址: | 英国赫*** | 国省代码: | 英国;GB |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本公开涉及深度神经网络硬件实现的基于直方图的每层数据格式选择。一种选择用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式的基于直方图的方法。该方法包括获得表示该层的一组值的预期分布的直方图,该直方图的每个bin与频率值和浮点数格式的代表值相关联;根据多个可能的定点数格式中的每个定点数格式来量化代表值;针对多个可能的定点数格式中的每个定点数格式,基于直方图的频率值和针对每个bin的距离值来估计总量化误差,该距离值基于针对该bin的代表值的量化;并且选择与最小估计总量化误差相关联的定点数格式作为用于表示该层的一组值的最佳定点数格式。 | ||
搜索关键词: | 定点数 直方图 神经网络硬件实现 数据格式 关联 量化 神经网络 浮点数 输出 | ||
【主权项】:
1.一种标识用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式以用于配置DNN的硬件实现的计算机实现的方法(400),所述方法(400)包括:获得表示该层的该组值的预期分布的直方图,其中,所述直方图的每个bin与频率值相关联(402);针对多个定点数格式中的每个定点数格式(404,410):根据所述定点数格式来量化针对每个bin的浮点数格式的代表值(406);并且基于针对每个bin的频率值和距离值来估计与所述定点数格式相关联的总量化误差(408),所述距离值基于针对该bin的代表值的量化;以及选择多个定点数格式中与最小估计总量化误差相关联的定点数格式作为用于表示该层的该组值的定点数格式(412)。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于畅想科技有限公司,未经畅想科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811301247.1/,转载请声明来源钻瓜专利网。
- 上一篇:一种计算装置及相关产品
- 下一篇:权重缓冲器