[发明专利]忆阻器的神经网络混合精度量化方法和系统

权利要求书

1.一种忆阻器的神经网络混合精度量化方法，其特征在于，所述方法包括：

获取卷积核的个数，将所述卷积核的个数通过分组量化策略，得到最终输出；

定义量化器的有符号均匀对称量化；

根据所述量化器的有符号均匀对称量化，得到任意两个相邻量化级别之间的间隔；其中，所述间隔是通过阈值和位宽得到的；

将所述阈值和所述位宽通过网络架构搜索算法，得到最优阈值和最优位宽；

分析加速器下每个模块在量化位宽下的资源消耗，并纳入损失函数中。

2.根据权利要求1所述的忆阻器的神经网络混合精度量化方法，其特征在于，将所述卷积核的个数通过分组量化策略，得到最终输出，包括：

将卷积层按照所述卷积核的个数均分为多个组；

将所述多个组分别进行独立量化，得到多个量化对象；

将所述多个量化对象分别输入到卷积后，得到多个输出；

将所述多个输出合并后，得到所述最终输出。

3.根据权利要求1所述的忆阻器的神经网络混合精度量化方法，其特征在于，将所述阈值和所述位宽通过网络架构搜索方法，得到最优阈值和最优位宽，包括：

定义阈值搜索空间和量化比特数搜索空间；

通过所述阈值搜索空间和所述量化比特数搜索空间构建有限空间；

在训练过程中，根据所述有限空间搜索所述最优阈值和所述最优位宽。

4.根据权利要求1所述的忆阻器的神经网络混合精度量化方法，其特征在于，所述方法还包括：

通过softmax函数得到所述阈值和所述位宽的联合采样概率；

根据所述联合采样概率分别计算所述阈值的边缘采样概率和比特位数的边缘采样概率；

获取第i层所述阈值的候选项和第i层所述比特位数的候选项；

根据所述阈值的边缘采样概率，将选中模块中的所述阈值的候选项的独热编码置为1，其余置为0；

根据所述比特位数的边缘采样概率，将所述选中模块中的所述比特位数的候选项的独热编码置为1，其余置为0；

通过Gumble Softmax函数，将所述阈值的候选项的独热编码和所述比特位数的候选项的独热编码松弛为连续的随机变量。

5.根据权利要求1所述的忆阻器的神经网络混合精度量化方法，其特征在于，分析加速器下每个模块在量化位宽下的资源消耗，并纳入损失函数中，包括：

根据下式计算所述损失函数：

其中，为所述损失函数，CrossEntropy(a)为基础损失函数，为阵列资源压缩比，λ为超参数，T_a为目标压缩值，为原始资源消耗。

6.根据权利要求1所述的忆阻器的神经网络混合精度量化方法，其特征在于，所述方法还包括：

通过噪声注入自适应训练算法，得到最优网络结构。

7.根据权利要求6所述的忆阻器的神经网络混合精度量化方法，其特征在于，通过噪声注入自适应训练算法，得到最优网络结构，包括：

将网络权值以线性的方式映射到RRAM交叉阵列上，得到二值权值；

获取器件波动方程；

将所述器件波动方程按照一阶泰勒方式进行展开，得到服从正态分布的方程；

按照比特位切分的映射方式，向位宽的权值注入噪声，构建所述最优网络结构。

8.一种忆阻器的神经网络混合精度量化系统，其特征在于，所述系统包括：

输出获取模块，用于获取卷积核的个数，将所述卷积核的个数通过分组量化策略算法，得到最终输出；

定义模块，用于定义量化器的有符号均匀对称量化；

间隔获取模块，用于根据量化器的有符号均匀对称量化，得到任意两个相邻量化级别之间的间隔；其中，所述间隔是通过阈值和位宽得到的；

阈值获取模块，用于将所述阈值和所述位宽通过网络架构搜索算法，得到最优阈值和最优位宽；

分析模块，用于分析加速器下每个模块在量化位宽下的资源消耗，并纳入损失函数中。