[发明专利]神经网络运算模块及方法在审
申请号: | 201910235215.4 | 申请日: | 2019-03-26 |
公开(公告)号: | CN111753972A | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 上海寒武纪信息科技有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 201306 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 运算 模块 方法 | ||
1.一种神经网络运算模块,其特征在于,所述神经网络运算模块用于执行多层神经网络的运算,所述神经网络模块包括:
存储单元,用于存储所述多层神经网络的权重精度和输出神经元梯度精度;
控制器单元,用于从所述存储单元获取所述多层神经网络相邻两层输出神经元梯度精度和权重精度Sw;根据所述相邻两层输出神经元梯度精度和权重精度Sw确定目标误差传递精度预估值An;当所述目标误差传输精度预估值An小于所述预设精度Ar时,减小所述相邻两层输出神经元梯度精度和所述权重精度Sw;
运算单元,用于根据减小后的相邻两层输出神经元梯度精度来表示所述相邻两层输出神经元梯度,用于减小后的权重精度Sw来表示所述多层神经网络的权重,并进行后续运算。
2.根据权利要求1所述的模块,其特征在于,所述相邻两层输出神经元梯度精度包括第L-1层输出神经元梯度精度和第L层输出神经元梯度精度在根据所述相邻两层输出神经元梯度精度和权重精度确定目标误差传递精度预估值的方面,所述控制器单元具体用于:
若所述第L-1层输出神经元梯度精度包括多个输出神经元梯度精度,则根据第L-1层多个输出神经元梯度精度、所述权重精度Sw和所述第L层输出神经元梯度精度获取多个误差传递精度预估值;若所述第L层输出神经元梯度精度包括多个输出神经元梯度精度,则根据第L层的多个输出神经元梯度精度、所述权重精度Sw和所述第L层输出神经元梯度精度获取多个误差传递精度预估值;其中,L为大于1的整数;
根据预设策略从所述多个误差传递精度预估值选择出所述目标误差传递精度预估值An。
3.根据权利要求2所述的模块,其特征在于,所述控制器单元根据所述第L-1层中多个输出神经元梯度精度、所述权重精度Sw和所述第L层输出神经元梯度精度获取多个误差传递精度预估值,包括:
所述控制器单元根据第一预设公式对所述第L-1层中多个输出神经元梯度精度、所述权重精度Sw和所述第L层输出神经元梯度精度进行计算,以得到所述多个误差传递精度预估值;
其中,所述第一预设公式为:所述Ai为所述多个误差传递精度预估值中的第i个,所述为所述第L-1层中多个输出神经元中的第i个。
4.根据权利要求2所述的模块,其特征在于,所述控制器单元根据所述第L-1输出神经元梯度精度所述权重精度Sw和所述第L层中的多个输出神经元梯度精度,获取多个误差传递精度预估值,包括:
所述控制器单元根据第二预设公式对所述第L-1层输出神经元梯度精度所述权重精度Sw和所述第L层中的多个输出神经元梯度精度进行计算,以得到所述多个误差传递精度预估值;
其中,所述第二预设公式为:所述Ai为所述多个误差传递精度预估值中的第i个,所述为所述第L层中多个输出神经元中的第i个。
5.根据权利要求2-4任一项所述的模块,其特征在于,所述控制器单元根据预设策略从所述多个误差传递精度预估值选择出目标误差传递精度预估值An,包括:
从所述多个误差传递精度预估值中任选一个作为所述目标误差传递精度预估值An,或者;
从所述多个误差传递精度预估值中选取最大值作为所述目标误差传递精度预估值An,或者;
从所述多个误差传递精度预估值中选取最小值作为所述目标误差传递精度预估值An,或者;
对所述多个误差传递精度预估值进行求均值计算,以得到计算结果,所述计算结果为所述目标误差传递精度预估值An,或者;
根据预设权重对所述多个误差传递精度预估值进行加权后均值计算,以得到加权均值结果,所述加权均值结果为所述目标误差传递精度预估值An。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海寒武纪信息科技有限公司,未经上海寒武纪信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910235215.4/1.html,转载请声明来源钻瓜专利网。