[发明专利]一种用于执行batch normalization运算的装置和方法在审
申请号: | 202010617696.8 | 申请日: | 2016-04-29 |
公开(公告)号: | CN111860814A | 公开(公告)日: | 2020-10-30 |
发明(设计)人: | 刘少礼;于涌;陈云霁;陈天石 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100191 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本公开公开了一种用于执行batch normalization运算的装置,包括运算模块。使用该装置可以实现多层人工神经网络中的batch normalization运算。对于batch normalization运算来说,在正向过程中,用输入减去均值除以方差与极小量定值eps和的平方根。之后乘以学习参数alpha加上学习参数beta得到该层输出。在反向训练过程中,将输入梯度向量减去梯度向量的均值向量之后再减去梯度向量与正向得到的输出的乘积的均值乘以输出,得到的差值除以正向中的方差与极小定值和的平方根,得到该层的输出梯度向量。本公开有效提高了对人工神经网络中batch normalization正反向运算的支持。 | ||
搜索关键词: | 一种 用于 执行 batch normalization 运算 装置 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010617696.8/,转载请声明来源钻瓜专利网。