[发明专利]用于学习低精度神经网络的方法及装置在审
| 申请号： | 201811001199.4 | 申请日： | 2018-08-28 |
| 公开（公告）号： | CN109754063A | 公开（公告）日： | 2019-05-14 |
| 发明（设计）人： | 崔裕镇;李正元;莫斯塔法·伊尔-哈米 | 申请（专利权）人： | 三星电子株式会社 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/063;G06N3/08 |
| 代理公司： | 广州华进联合专利商标代理有限公司 44224 | 代理人： | 刘培培;黄隶凡 |
| 地址： | 韩国京畿道水*** | 国省代码： | 韩国;KR |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种用于学习低精度神经网络的方法及装置。所述方法包括：选择神经网络模型，其中所述神经网络模型包括多个层，且所述多个层中的每一者包括权重及激活；通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型；将成本函数与经修改的所述神经网络模型进行关联，其中所述成本函数包括与第一正则化项对应的第一系数，且所述第一系数的初始值是预定义的；以及训练经修改的所述神经网络模型，以通过增大所述第一系数来产生层的量化权重，直到所有权重均被量化且所述第一系数满足预定义的阈值为止，还包括优化所述量化权重的权重缩放因数及优化量化激活的激活缩放因数，其中所述量化权重是使用经优化的所述权重缩放因数进行量化。 | ||
| 搜索关键词： | 神经网络模型 权重 量化 缩放因数 成本函数 神经网络 预定义 激活 优化 正则化项 产生层 量化层 所有权 关联 学习 | ||
【主权项】：
1.一种用于学习低精度神经网络的方法，包括：选择神经网络模型，其中所述神经网络模型包括多个层，且其中所述多个层中的每一者包括权重及激活；通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型；将成本函数与经修改的所述神经网络模型进行关联，其中所述成本函数包括与第一正则化项对应的第一系数，且其中所述第一系数的初始值是预定义的；以及训练经修改的所述神经网络模型，以通过增大所述第一系数来产生层的量化权重，直到所有权重均被量化且所述第一系数满足预定义的阈值为止，还包括优化所述量化权重的权重缩放因数以及优化量化激活的激活缩放因数，且其中所述量化权重是使用经优化的所述权重缩放因数进行量化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于三星电子株式会社，未经三星电子株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811001199.4/，转载请声明来源钻瓜专利网。
