[发明专利]一种快速的自适应神经网络优化方法在审
| 申请号： | 201811318475.X | 申请日： | 2018-11-07 |
| 公开（公告）号： | CN109389222A | 公开（公告）日： | 2019-02-26 |
| 发明（设计）人： | 王好谦;章书豪;张永兵;戴琼海 | 申请（专利权）人： | 清华大学深圳研究生院 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06F17/50 |
| 代理公司： | 深圳新创友知识产权代理有限公司 44223 | 代理人： | 徐罗艳 |
| 地址： | 518055 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种快速的自适应神经网络优化方法，包括：S1、初始化神经网络的优化器的参数；S2、将所述优化器的初始参数和神经网络前向传播过来的梯度数据作为所述优化器的输入；S3、根据神经网络的梯度数据，使用当前时刻梯度、上一时刻梯度和上一时刻一阶动量矩计算当前时刻一阶动量矩，使用当前时刻梯度、上一时刻梯度和上一时刻二阶动量矩计算当前时刻二阶动量矩；S4、修正所述优化器的初始学习率；S5、根据修正后的学习率、当前时刻一阶动量矩和当前时刻二阶动量矩更新所述神经网络的网络参数；S6、对所述神经网络的梯度进行权重衰减，再用权重衰减后的梯度继续更新步骤S5所得到的网络参数。本发明的优化方法性能优于现有SGD法。 | ||
| 搜索关键词： | 动量矩 神经网络 优化器 二阶 一阶 自适应神经网络 梯度数据 网络参数 衰减 优化 修正 初始参数 前向传播 初始化 更新 权重 学习 | ||
【主权项】：
1.一种快速的自适应神经网络优化方法，其特征在于，包括以下步骤：S1、初始化所述神经网络的优化器的参数；S2、将所述优化器的初始参数和所述神经网络前向传播过来的梯度数据作为所述优化器的输入；S3、根据所述神经网络的梯度数据，使用当前时刻梯度、上一时刻梯度和上一时刻一阶动量矩计算当前时刻一阶动量矩，使用当前时刻梯度、上一时刻梯度和上一时刻二阶动量矩计算当前时刻二阶动量矩；S4、修正所述优化器的初始学习率；S5、根据修正后的学习率、当前时刻一阶动量矩和当前时刻二阶动量矩更新所述神经网络的网络参数；S6、对所述神经网络的梯度进行权重衰减，再用权重衰减后的梯度继续更新步骤S5所得到的网络参数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学深圳研究生院，未经清华大学深圳研究生院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811318475.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种神经网络压缩方法
- 下一篇：一种通用量子计算机中央处理器及其操纵方法
