[发明专利]一种用于执行Adam梯度下降训练算法的装置及方法有效
| 申请号： | 201610269689.7 | 申请日： | 2016-04-27 |
| 公开（公告）号： | CN107315570B | 公开（公告）日： | 2021-06-18 |
| 发明（设计）人： | 郭崎;刘少礼;陈天石;陈云霁 | 申请（专利权）人： | 中科寒武纪科技股份有限公司 |
| 主分类号： | G06F9/30 | 分类号： | G06F9/30;G06F9/38 |
| 代理公司： | 中科专利商标代理有限责任公司 11021 | 代理人： | 任岩 |
| 地址： | 100190 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种用于执行Adam梯度下降训练算法的装置及方法，该装置包括直接内存访问单元、指令缓存单元、控制器单元、数据缓存单元、数据处理模块。该方法包括：首先读取梯度向量以及待更新值向量，同时初始化一阶矩和二阶矩向量及对应的指数衰减率；每次迭代时，利用梯度向量更新一阶矩和二阶矩向量，并分别计算一阶有偏矩估计向量和二阶有偏矩估计向量，利用一阶有偏矩估计向量和二阶有偏矩估计向量更新待更新参数，持续训练直至待更新参数向量收敛。利用本公开，可以实现Adam梯度下降算法的应用，并大幅度提高数据处理的效率。 | ||
| 搜索关键词： | 一种 用于 执行 adam 梯度 下降 训练 算法 装置 方法 | ||
【主权项】：
一种用于执行Adam梯度下降训练算法的装置，其特征在于，该装置包括直接内存访问单元(1)、指令缓存单元(2)、控制器单元(3)、数据缓存单元(4)、数据处理模块(5)，其中：直接内存访问单元(1)，用于访问外部指定空间，向指令缓存单元(2)和数据处理模块(5)读写数据，完成数据的加载和存储；指令缓存单元(2)，用于通过直接内存访问单元(1)读取指令，并缓存读取的指令；控制器单元(3)，用于从指令缓存单元(2)中读取指令，将读取的指令译码为控制直接内存访问单元(1)、数据缓存单元(4)或数据处理模块(5)行为的微指令；数据缓存单元(4)，用于在初始化及数据更新过程中缓存各一阶矩向量和二阶矩向量；数据处理模块(5)，用于更新矩向量，计算矩估计向量，更新待更新向量，并将更新后的矩向量写入到数据缓存单元(4)中，将更新后的待更新向量通过直接内存访问单元(1)写入到外部指定空间中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司，未经中科寒武纪科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610269689.7/，转载请声明来源钻瓜专利网。
