[发明专利]一种面向忆阻器加速器的神经网络模型压缩方法及系统

权利要求书

1.一种面向忆阻器加速器的神经网络模型压缩方法，其特征在于，所述方法包括：

步骤1：通过阵列感知的规则化增量剪枝算法，裁剪原始网络模型获得忆阻器阵列友好的规则化稀疏模型；

步骤2：通过二的幂次量化算法，降低ADC精度需求和忆阻器阵列中低阻值器件个数以总体降低系统功耗；

其中，步骤1中的阵列感知的规则化增量剪枝算法包括：

阵列感知：在网络裁剪时针对忆阻器实际阵列尺寸进行剪枝粒度的调整；

增量剪枝与分层稀疏相结合：增量剪枝对神经网络模型的裁剪并恢复模型精度，分层稀疏根据网络层在模型中的位置不同而对每层网络设定不同剪枝率参数，遵循着剪枝率按照低-高-低的策略对各层网络剪枝参数进行设定；

阈值校准：校准方案为将各行的L2范数除以行中有效列数，以实现归一化。

2.根据权利要求1所述的方法，其特征在于，所述增量剪枝包括：

步骤1-1：将剪枝率设定为初始值，使其在首次剪枝中只裁剪掉少量以忆阻器阵列行为粒度的权重；

步骤1-2：通过重训练恢复之前的模型准确度；

步骤1-3：根据剪枝率阶梯增量提高剪枝率以进一步裁剪模型；

步骤1-4：通过重训练恢复精度，提高剪枝率再恢复精度的过程将一直执行直到整个模型的准确度达到设计的阈值目标同时网络训练次数达到设定的要求。

3.根据权利要求1所述的方法，其特征在于，所述阈值校准包括：

步骤1-5：将需要裁剪的当前层网络转成通用矩阵乘形式；

步骤1-6：以忆阻器阵列行的粒度求解各行L2范数，并按大小对其进行排序；根据分层稀疏配置表中当前层对应的剪枝率获取剪枝L2范数阈值，将低于该阈值的行权重置0，其余权重保留以用于重训练。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中二的幂次量化算法包括：

步骤2-1：将待处理的当前层网络进行分组，其中一组为需要进行量化的权重，另一组为不量化的浮点权重以参与网络重训练；

步骤2-2：量化完毕之后，通过重训练恢复量化损失的精度；

步骤2-3：提高分组率再一次执行量化重训练的步骤直到当前层网络全部权重均被量化成形式。

5.一种面向忆阻器加速器的神经网络模型压缩系统，其特征在于，所述系统包括：

模块M1：通过阵列感知的规则化增量剪枝算法，裁剪原始网络模型获得忆阻器阵列友好的规则化稀疏模型；

模块M2：通过二的幂次量化算法，降低ADC精度需求和忆阻器阵列中低阻值器件个数以总体降低系统功耗；

其中，所述模块M1中的阵列感知的规则化增量剪枝算法包括：

阵列感知：在网络裁剪时针对忆阻器实际阵列尺寸进行剪枝粒度的调整；

增量剪枝与分层稀疏相结合：增量剪枝对神经网络模型的裁剪并恢复模型精度，分层稀疏根据网络层在模型中的位置不同而对每层网络设定不同剪枝率参数，遵循着剪枝率按照低-高-低的策略对各层网络剪枝参数进行设定；

阈值校准：校准方案为将各行的L2范数除以行中有效列数，以实现归一化。

6.根据权利要求5所述的系统，其特征在于，所述增量剪枝包括：

将剪枝率设定为初始值，使其在首次剪枝中只裁剪掉少量以忆阻器阵列行为粒度的权重；

通过重训练恢复之前的模型准确度；

根据剪枝率阶梯增量提高剪枝率以进一步裁剪模型；

通过重训练恢复精度，提高剪枝率再恢复精度的过程将一直执行直到整个模型的准确度达到设计的阈值目标同时网络训练次数达到设定的要求。

7.根据权利要求5所述的系统，其特征在于，所述阈值校准包括：

将需要裁剪的当前层网络转成通用矩阵乘形式；

以忆阻器阵列行的粒度求解各行L2范数，并按大小对其进行排序；根据分层稀疏配置表中当前层对应的剪枝率获取剪枝L2范数阈值，将低于该阈值的行权重置0，其余权重保留以用于重训练。

8.根据权利要求5所述的系统，其特征在于，所述模块M2中二的幂次量化算法包括：

将待处理的当前层网络进行分组，其中一组为需要进行量化的权重，另一组为不量化的浮点权重以参与网络重训练；

量化完毕之后，通过重训练恢复量化损失的精度；

提高分组率再一次执行量化重训练的步骤直到当前层网络全部权重均被量化成形式。