[发明专利]用于确定模型压缩率的方法、设备和程序产品

权利要求书

1.一种用于确定模型压缩率的方法，包括：

从与机器学习模型相关联的重要性值集合中确定近零重要性值子集，所述重要性值集合中的相应重要性值指示所述机器学习模型的处理层的相应输入的重要程度，所述近零重要性值子集中的重要性值相比于所述重要性值集合中的其他重要性值更接近零；

从所述近零重要性值子集中确定目标重要性值，所述目标重要性值对应于所述近零重要性值子集中重要性值幅度的转折点；

确定所述重要性值集合中低于所述目标重要性值的重要性值占所述重要性值集合的比例；以及

基于所确定的比例来确定用于所述机器学习模型的压缩率。

2.根据权利要求1所述的方法，其中确定所述近零重要性值子集包括：

确定所述重要性值集合的分布，所述分布呈现所述重要性值集合中相同重要性值出现的次数；以及

基于所述分布来确定所述近零重要性值子集。

3.根据权利要求1所述的方法，其中确定所述目标重要性值包括：

通过对所述近零重要性值子集中的重要性值执行对数变换，获得对应的对数变换值集合；

从所述对数变换值集合中确定目标对数变换值，所述目标对数变换值对应于所述对数变换值集合中对数变换值幅度的转折点；以及

确定所述目标对数变换值对应的所述重要性值集合中的重要性值，作为所述目标重要性值。

4.根据权利要求3所述的方法，其中所述对数变换值中比所述目标对数变换值小的第一对数变换值与比所述对数变换值大的第二对数变换值之间的第一差异大于以下两个差异：

所述对数变换值集合中比所述目标对数变换值小的两个对数变换值之间的第二差异，以及

所述对数变换值集合中比所述目标对数变换值大的两个对数变换值之间的第三差异。

5.根据权利要求3所述的方法，其中所述对数变换包括大尺寸缩放对数投影LSLP。

6.根据权利要求3所述的方法，其中从所述对数变换值集合中确定目标对数变换值包括：

将所述对数变换值集合中的对数变换值按升序或降序排序；

确定排序后的对数变换值的变化趋势；以及

基于所述变化趋势确定所述目标对数变换值。

7.根据权利要求3所述的方法，其中从所述对数变换值集合中确定目标对数变换值包括：

基于自适应阈值分割算法来确定所述目标对数变换值。

8.根据权利要求1所述的方法，还包括：

基于所述压缩率，通过模型剪枝来压缩所述机器学习模型。

9.一种电子设备，包括：

至少一个处理器；以及

存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：

从与机器学习模型相关联的重要性值集合中确定近零重要性值子集，所述重要性值集合中的相应重要性值指示所述机器学习模型的处理层的相应输入的重要程度，所述近零重要性值子集中的重要性值相比于所述重要性值集合中的其他重要性值更接近零；

从所述近零重要性值子集中确定目标重要性值，所述目标重要性值对应于所述近零重要性值子集中重要性值幅度的转折点；

确定所述重要性值集合中低于所述目标重要性值的重要性值占所述重要性值集合的比例；以及

基于所确定的比例来确定用于所述机器学习模型的压缩率。

10.根据权利要求9所述的设备，其中确定所述近零重要性值子集包括：

确定所述重要性值集合的分布，所述分布呈现所述重要性值集合中相同重要性值出现的次数；以及

基于所述分布来确定所述近零重要性值子集。