[发明专利]神经网络卷积计算的方法和装置在审
申请号: | 201810898766.4 | 申请日: | 2018-08-08 |
公开(公告)号: | CN110826685A | 公开(公告)日: | 2020-02-21 |
发明(设计)人: | 郭鑫;董晓文;李怀洲;林芃 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 魏雪娇;毛威 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 卷积 计算 方法 装置 | ||
1.一种神经网络的卷积运算的方法,其特征在于,所述方法由计算机装置执行,所述神经网络的第i层卷积层包括M个权值通道,所述M个权值通道按照每个权值通道的系数矩阵被划分为N个权值通道组,每个权值通道组中的权值通道的系数矩阵具有相同的量化系数,所述M大于等于2,所述N小于等于M,所述第i层卷积层为所述神经网络的任意一个卷积层,所述方法包括:
从待输入所述第i卷积层的数据中获取与第n个权值通道组中的每个权值通道对应的数据通道的数据;
将所获取数据通道的数据输入所述第i卷积层以及对所输入的每个数据通道的数据进行卷积运算,并对每个数据通道的卷积运算结果求和;
对所述求和的结果按照所述第n个权值通道组中每个通道对应的量化系数进行反量化计算;
将所述反量化计算的结果与第n-1个权值通道组对应的计算结果相加,得到第n个权值通道组对应的计算结果;
计算第n+1个权值通道组对应的计算结果,直到待输入所述第i卷积层的数据全部计算完毕。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第i卷积层的每个权值通道的系数矩阵中的系数取绝对值最大的值;
确定每个权值通道的系数矩阵的绝对值最大值所落入的值域区间,在所述计算机装置中预设有多段值域区间,每个值域区间表示一段连续的数据,且所述每个值域区间的数据不重叠;
根据所确定的值域区间将所述M个权值通道分成N组,并确定每个分组对应的量化系数;
根据每组权值通道的量化系数对每组权值通道的每个权值通道的系数矩阵进行量化。
3.根据权利要求2所述的方法,其特征在于,所述根据所确定的值域区间将所述M个权值通道分成N组,包括:
将所确定的具有相同值域区间的权值通道分为一组,得到L组权值通道;
将所述L组权值通道按照所述值域区间的大小顺序分为N组。
4.根据权利要求3所述的方法,其特征在于,所述将所述L组权值通道按照所述值域区间的大小顺序分为N组,包括:
将所述L个组中的前N-1个组确定为所述N个组的前N-1个组;
将所述L个组中除所述前N-1个组之外的组确定为所述N个组第N个组。
5.一种神经网络卷积运算的装置,其特征在于,所述神经网络的第i层卷积层包括M个权值通道,所述M个权值通道按照每个权值通道的系数矩阵被划为为N个权值通道组,每个权值通道组中权值通道的系数矩阵具有相同的量化系数,所述M大于等于2、所述N小于等于M,所述第i层卷积层为所述神经网络的任意一个卷积层,所述装置包括:
传输模块,用于从待输入所述第i卷积层的数据中获取与第n个权值通道组中的每个权值通道对应的数据通道的数据;
将所获取数据通道的数据输入所述第i卷积层,并对所输入的每个数据通道的数据进行卷积运算以及对每个数据通道的卷积运算结果求和;
计算模块,用于对所述求和的结果按照所述第n个权值通道组中每个通道对应的量化系数进行反量化计算;
将所述反量化计算的结果与第n-1个权值通道组对应的计算结果相加,得到第n个权值通道组对应的计算结果;
计算第n+1个权值通道组对应的计算结果,直到待输入所述第i卷积层的数据全部计算完毕。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括分组模块,所述分组模块用于,
对所述第i卷积层的每个权值通道的系数矩阵中的系数取绝对值最大的值;
确定所述每个权值通道的系数矩阵的绝对值最大值所落入的值域区间,在所述计算机装置中预设有多段值域区间,每个值域区间表示一段连续的数据,且所述每个值域区间的数据不重叠;
根据所确定的值域区间将所述M个权值通道分成N组,并确定每个分组对应的量化系数;
所述计算模块还用于,根据每组权值通道的量化系数对每组权值通道的每个权值通道的系数矩阵进行量化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810898766.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:带配用牙膏的牙刷
- 下一篇:隧道LSP确定的方法及装置