[发明专利]一种神经网络批归一化的优化方法及装置有效
| 申请号： | 201811590504.8 | 申请日： | 2018-12-25 |
| 公开（公告）号： | CN109800859B | 公开（公告）日： | 2021-01-12 |
| 发明（设计）人： | 肖海勇 | 申请（专利权）人： | 深圳云天励飞技术有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 郝传鑫;熊永强 |
| 地址： | 518000 广东省深圳市龙岗区园山*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供一种神经网络批归一化的优化方法，包括：将神经网络中第一个网络层设置为起始层；从所述起始层开始向后依次获取不同网络层的初始偏置值；计算所述不同网络层的等效偏置值；判断是否存在目标网络层，其中，所述目标网络层的前一层所对应的等效偏置值与所述目标网络层所对应的等效偏置值之间的比值不小于预设阈值；若存在所述目标网络层，则将所述起始层至所述目标网络层的前一层之间的不同网络层的偏置值均设为0，并将所述目标网络层的等效偏置值作为所述目标网络层的偏置值。采用本方案，能够有效减少网络定点化后的位宽，有利于网络在各种现有位宽受限的AI硬件平台上部署。 | ||
| 搜索关键词： | 一种 神经网络 归一化 优化 方法 装置 | ||
【主权项】：
1.一种神经网络批归一化的优化方法，其特征在于，包括：将神经网络中第一个网络层设置为起始层；从所述起始层开始向后依次获取不同网络层的初始偏置值；调用预设算法对从所述起始层开始向后依次获取的不同网络层的初始偏置值分别进行处理，以得到所述不同网络层的等效偏置值；判断是否存在目标网络层，其中，所述目标网络层的前一层所对应的等效偏置值与所述目标网络层所对应的等效偏置值之间的比值不小于预设阈值；若存在所述目标网络层，则将所述起始层至所述目标网络层的前一层之间的不同网络层的偏置值均设为0，并将所述目标网络层的等效偏置值作为所述目标网络层的偏置值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳云天励飞技术有限公司，未经深圳云天励飞技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811590504.8/，转载请声明来源钻瓜专利网。
