[发明专利]用于确定表示DNN的层的值的定点数格式的方法和系统有效
| 申请号： | 201811299719.4 | 申请日： | 2018-11-02 |
| 公开（公告）号： | CN110009099B | 公开（公告）日： | 2021-12-24 |
| 发明（设计）人： | 詹姆斯·因贝尔 | 申请（专利权）人： | 畅想科技有限公司 |
| 主分类号： | G06N3/063 | 分类号： | G06N3/063;G06N3/04 |
| 代理公司： | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人： | 林强 |
| 地址： | 英国赫*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及用于深度神经网络的硬件实现的误差分配格式选择。用于基于DNN的输出误差中归因于不同层的定点格式的部分来确定DNN的一个或多个层的定点格式的方法。具体地，在本文描述的方法中，使用泰勒近似来确定可归因于每个层的权重或输入数据值的量化的DNN的输出误差，并且基于该归因来调整一个或多个层的定点数格式。例如，在由DNN使用的定点数格式包括指数和尾数位长度的情况下，可以减少分配有最少部分的输出误差的层的尾数位长度，或者可以增加分配有最多部分的输出误差的层的尾数位长度。可以迭代地重复这种方法以确定DNN的层的一组最佳定点数格式。 | ||
| 搜索关键词： | 用于 确定 表示 dnn 点数 格式 方法 系统 | ||
【主权项】：
1.一种确定用于表示深度神经网络“DNN”的一个或多个层的值的定点数格式以用于配置所述DNN的硬件实现的计算机实现的方法(900，1000)，值包括权重和输入数据值中的至少一者，所述方法(900，1000)包括：接收被配置为根据用于该层的一个或多个初始定点数格式表示一个或多个层的值的DNN的实例(602)；确定响应于测试输入数据的所述DNN的所述实例的输出(604)；确定所述DNN的所述实例的所述输出相对于基线输出的可微分误差(606)；使用泰勒近似来确定所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的部分(608)；以及基于所述可微分误差中与所述一个或多个层中的每个层的值的量化相关的所述部分，调整所述一个或多个层中的至少一层的定点数格式(902)。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于畅想科技有限公司，未经畅想科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811299719.4/，转载请声明来源钻瓜专利网。
