[发明专利]卷积神经网络系统和卷积神经网络量化的方法在审
申请号: | 201810603231.X | 申请日: | 2018-06-12 |
公开(公告)号: | CN110598839A | 公开(公告)日: | 2019-12-20 |
发明(设计)人: | 郭鑫;罗龙强;余国生 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04 |
代理公司: | 11329 北京龙双利达知识产权代理有限公司 | 代理人: | 魏雪娇;毛威 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积 量化 卷积神经网络 偏置 权重 卷积计算 量化模块 计算量 正整数 申请 | ||
1.一种卷积神经网络系统,其特征在于,包括:
量化模块,用于对所述系统的第i层卷积层的输入数据、所述第i层卷积层的权重以及偏置分别进行量化,i为正整数;
卷积模块,用于对量化后的所述第i层卷积层的输入数据、量化后的所述权重以及量化后的所述偏置进行卷积计算,得到所述第i层卷积层的卷积结果。
2.根据权利要求1所述的系统,其特征在于,所述卷积模块包括:
乘法器,用于对所述量化后的所述第i层卷积层的输入数据以及所述量化后的所述权重进行乘法运算;
加法器,用于对所述乘法器的输出结果与所述量化后的所述偏置进行加法运算,得到所述第i层卷积层的卷积结果。
3.根据权利要求1或2所述的系统,其特征在于:
当i等于1时,所述第i层卷积层的输入数据为原始输入图片;或者,
当i大于1时,所述第i层卷积层的输入数据为特征图数据。
4.根据权利要求1至3中任一项所述的系统,其特征在于,当待执行第i+1层卷积计算的数据为待量化的数据时,
所述量化模块还用于:
将所述第i层卷积层的卷积结果进行与所述权重的量化以及所述偏置的量化对应的反量化,其中,所述反量化后的所述第i层卷积层的卷积结果为所述第i+1层卷积层的输入数据。
5.根据权利要求1至3中任一项所述的系统,其特征在于,当待执行第i+1层卷积计算的数据不是待量化的数据时,所述量化模块还用于:
将所述第i层卷积层的卷积结果进行与所述权重的量化以及所述偏置的量化对应的反量化;
将所述反量化后的得到的结果进行特征图反量化;
所述卷积模块还用于:对所述特征图反量化后的结果、所述第i+1层卷积层的权重以及所述第i+1层卷积层的偏置进行卷积计算,得到所述第i+1层卷积层的卷积结果。
6.根据权利要求1至5中任一项所述的系统,其特征在于,所述量化模块还用于:
对量化后的所述偏置进行修正;
所述卷积模块具体用于:对量化后的所述第i层卷积层的输入数据、量化后的所述权重以及所述修正后的所述偏置进行卷积计算,得到所述第i层卷积层的卷积结果。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:
量化参数获取模块,用于获取所述第i层卷积层的输入数据的量化参数、所述第i层卷积层的所述权重的量化参数以及所述偏置的量化参数;
所述量化模块具体用于:根据所述第i层卷积层的输入数据的量化参数对所述第i层卷积层的输入数据进行量化,根据所述第i层卷积层的权重的量化参数对所述权重进行量化,根据所述第i层卷积层的偏置的量化参数对所述偏置进行量化。
8.一种卷积神经网络量化的方法,其特征在于,包括:
对所述卷积神经网络的第i层卷积层的输入数据、所述第i层卷积层的权重以及偏置分别进行量化,i为正整数;
对量化后的所述第i层卷积层的输入数据、量化后的所述权重以及量化后的所述偏置进行卷积计算,得到所述第i层卷积层的卷积结果。
9.根据权利要求8所述的方法,其特征在于,所述对量化后的所述第i层卷积层的输入数据、量化后的所述权重以及量化后的所述偏置进行卷积计算,得到所述第i层卷积层的卷积结果,包括:
对所述量化后的所述第i层卷积层的输入数据以及所述量化后的所述权重进行乘法运算;
对所述乘法运算的结果与所述量化后的所述偏置进行加法运算,得到所述第i层卷积层的卷积结果。
10.根据权利要求8或9所述的方法,其特征在于:
当i等于1时,所述第i层卷积层的输入数据为原始输入图片;或者,
当i大于1时,所述第i层卷积层的输入数据为特征图数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810603231.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:统计感知权重量化
- 下一篇:知识迁移方法、信息处理设备以及存储介质