[发明专利]用于以降低精度进行深度神经网络训练的损失缩放在审
| 申请号： | 201880004842.0 | 申请日： | 2018-05-07 |
| 公开（公告）号： | CN110073371A | 公开（公告）日： | 2019-07-30 |
| 发明（设计）人： | 吴昊;J·阿尔本;P·米齐可维休斯 | 申请（专利权）人： | 辉达公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 北京市磐华律师事务所 11336 | 代理人： | 高伟;张建 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 在使用降低的精度训练深度神经网络时，梯度计算在较大的值上操作而不影响训练过程的其余部分。一种训练深度神经网络的技术，产生损失值、缩放所述损失值、以降低的精度计算梯度，并减小计算梯度的大小以补偿所述损失值的缩放。在一个示例性非限制性布置中，训练正向传递将损失值缩放某个因子S，并且权重更新将权重梯度贡献减少1/S。可以使用几种技术来选择缩放因子S并调整权重更新。 | ||
| 搜索关键词： | 缩放 权重更新 神经网络 神经网络训练 限制性布置 精度计算 缩放因子 梯度计算 训练过程 减小 权重 正向 传递 | ||
【主权项】：
1.一种用于训练神经网络的系统，包括：至少一个数值计算电路，配置为基于损失值计算梯度；以及降低精度的选择器，所述降低精度的选择器耦合到所述至少一个数值计算电路，所述降低精度的选择器控制所述至少一个数值计算电路有选择地以降低精度的计算模式运行；其中，所述至少一个数值计算电路还配置为在基于使用所述降低精度的模式计算的梯度调整权重时缩放所述损失值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辉达公司，未经辉达公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880004842.0/，转载请声明来源钻瓜专利网。
- 上一篇：用于稀疏神经网络的低功率架构
- 下一篇：量子比特多状态重置
