[发明专利]训练人工神经网络模型的计算装置和方法以及存储器系统

权利要求书

1.一种用于训练人工神经网络模型的计算装置，所述计算装置包括：

模型分析器，被配置为接收第一人工神经网络模型并将第一人工神经网络模型划分成多个层；

训练逻辑，被配置为：计算随着第一人工神经网络模型被修剪而变化的第一灵敏度数据，基于第一灵敏度数据计算与目标修剪率对应的目标灵敏度，计算随着第一人工神经网络模型的所述多个层中的每个被修剪而变化的第二灵敏度数据，并基于第二灵敏度数据输出所述多个层中的每个的最佳修剪率，最佳修剪率对应于目标修剪率；以及

模型更新器，被配置为：基于最佳修剪率修剪第一人工神经网络模型以获得第二人工神经网络模型，并输出第二人工神经网络模型。

2.根据权利要求1所述的计算装置，

其中，所述多个层包括具有第一灵敏度的第一层和具有第二灵敏度的第二层，第二灵敏度低于第一灵敏度，

其中，最佳修剪率包括第一层的第一最佳修剪率和第二层的第二最佳修剪率，并且

其中，第二最佳修剪率高于第一最佳修剪率。

3.根据权利要求1所述的计算装置，其中，训练逻辑还被配置为：将多个修剪率值应用于第一人工神经网络模型和所述多个层，获得多个灵敏度值，并且对所述多个灵敏度值进行插值，以计算第一灵敏度数据和第二灵敏度数据。

4.根据权利要求1所述的计算装置，其中，训练逻辑还被配置为：获得与第二灵敏度数据成反函数关系的修剪率数据，基于目标灵敏度从修剪率数据计算最佳修剪率，并输出最佳修剪率。

5.根据权利要求1所述的计算装置，其中，训练逻辑还被配置为：根据最佳修剪率的输出来调整所述多个层中的每个的权重。

6.根据权利要求5所述的计算装置，其中，训练逻辑还被配置为：基于包括在第一人工神经网络模型中的全部权重对所述多个层中的每个的权重进行归一化。

7.根据权利要求5所述的计算装置，还包括：

存储器，包括处理器，

其中，处理器被配置为调整权重以提供调整的权重，并将调整的权重存储在存储器中。

8.一种用于训练人工神经网络模型的计算装置，所述计算装置包括：

模型分析器，被配置为接收第一人工神经网络模型并将第一人工神经网络模型划分成多个层；

训练逻辑，被配置为：接收目标修剪率，计算第一人工神经网络模型的目标灵敏度，并输出所述多个层中的每个的最佳修剪率，目标灵敏度对应于目标修剪率，最佳修剪率对应于目标灵敏度；以及

模型更新器，被配置为：基于最佳修剪率修剪第一人工神经网络模型以获得第二人工神经网络模型，并输出第二人工神经网络模型。

9.根据权利要求8所述的计算装置，其中，训练逻辑包括：

灵敏度分析器，分析第一人工神经网络模型以输出根据修剪率而变化的第一灵敏度数据，并且分析所述多个层中的每个以输出根据修剪率而变化的第二灵敏度数据。

10.根据权利要求9所述的计算装置，

其中，训练逻辑还被配置为基于目标修剪率、第一灵敏度数据和第二灵敏度数据输出最佳修剪率，并且最佳修剪率被分配给所述多个层中的每个。

11.根据权利要求9所述的计算装置，其中，灵敏度分析器还被配置为：将多个修剪率应用于第一人工神经网络模型和所述多个层中的每个，获得多个灵敏度值，并且对所述多个灵敏度值进行插值，以计算第一灵敏度数据和第二灵敏度数据。

12.根据权利要求9所述的计算装置，其中，训练逻辑还包括：

修剪控制器，

其中，修剪控制器包括：

目标灵敏度计算器，被配置为基于第一灵敏度数据和目标修剪率输出目标灵敏度；以及

最佳修剪率计算器，被配置为基于第二灵敏度数据和目标灵敏度来输出最佳修剪率。