[发明专利]用于量化神经网络的系统和方法以及识别系统和方法在审
| 申请号： | 201910905124.7 | 申请日： | 2019-09-24 |
| 公开（公告）号： | CN110942136A | 公开（公告）日： | 2020-03-31 |
| 发明（设计）人： | 陈辉;伊利亚·奥夫桑尼科夫 | 申请（专利权）人： | 三星电子株式会社 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京铭硕知识产权代理有限公司 11286 | 代理人： | 方成;张川绪 |
| 地址： | 韩国京畿*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 用于 量化 神经网络 系统 方法 以及 识别 | ||
1.一种用于量化预训练的神经网络的系统，所述系统包括：
范围确定器，确定预训练的神经网络的选择的层或通道的权重的范围；
平方器，对选择的层或通道的权重范围进行平方；
乘法器，将选择的层或通道的权重的范围的平方乘以常数的从主位宽值的集合选择的当前主位宽值的负幂；以及
比较器，比较针对选择的层或通道从主位宽值的集合选择的每个当前主位宽值的乘法器的输出，并为选择的层或通道选择与从乘法器输出的最小值对应的主位宽值。
2.根据权利要求1所述的系统，其中，常数是4。
3.根据权利要求2所述的系统，其中，主位宽值的集合包括位于区间[4,10]内的值。
4.根据权利要求2所述的系统，其中，每个层或通道的权重的范围还包括预训练的神经网络的每个层或通道的权重和激活的范围。
5.根据权利要求1所述的系统，还包括：控制器，控制范围确定器、平方器、乘法器和比较器，来为预训练的神经网络的每个层或通道选择位宽。
6.根据权利要求5所述的系统，其中，校验数据集被输入到预训练的神经网络的输入中，以确定预训练的神经网络的每个层或通道的选择的位宽值。
7.一种用于量化预训练的神经网络的系统，所述系统包括：
范围确定器，确定预训练的神经网络的选择的层或通道的权重的范围；
第一乘法器，对选择的层或通道的权重的范围进行平方；
第二乘法器，将选择的层或通道的权重的范围的平方乘以常数的从主位宽值的集合选择的当前主位宽值的负幂；以及
位宽选择器，为选择的层或选择的通道选择与从第二乘法器输出的最小值对应的主位宽值。
8.根据权利要求7所述的系统，其中，常数是4。
9.根据权利要求8所述的系统，其中，主位宽值的集合包括位于区间[4,10]内的值。
10.根据权利要求8所述的系统，其中，每个层或通道的权重的范围还包括预训练的神经网络的每个层或通道的权重和激活的范围。
11.根据权利要求7所述的系统，还包括：控制器，控制范围确定器、第一乘法器、第二乘法器和位宽选择器，来为预训练的神经网络的每个层或通道选择位宽。
12.根据权利要求11所述的系统，其中，校验数据集输入到预训练的神经网络的输入中，以确定每个层或通道的选择的位宽值。
13.一种用于量化预训练的神经网络的方法，所述方法包括：
通过层/通道位宽确定器针对预训练的神经网络的每个层或通道，针对预定的主位宽值的集合中的每个主位宽值，确定层或通道的最小量化噪声；以及
通过位宽选择器为层或通道选择具有层或通道的最小量化噪声的主位宽值。
14.根据权利要求13所述的方法，其中，层或通道的最小量化噪声基于乘以“常数的当前主位宽值的负幂”的层或通道的权重的范围的平方。
15.根据权利要求14所述的方法，其中，常数是4。
16.根据权利要求15所述的方法，其中，主位宽值的集合包括位于区间[4,10]内的值。
17.根据权利要求14所述的方法，其中，确定最小量化噪声还基于乘以“常数的当前主位宽值的负幂”的层或通道的权重和激活的范围的平方。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于三星电子株式会社，未经三星电子株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910905124.7/1.html，转载请声明来源钻瓜专利网。
