[发明专利]基于过滤器重要性的深度神经网络压缩

权利要求书

1.一种系统，包括：

存储器，所述存储器存储计算机可执行部件；以及

处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：

评分部件，所述评分部件确定直到对训练数据集的推理任务的收敛为止先前训练的神经网络模型的层的过滤器的重要性分数；

修剪部件，所述修剪部件基于与所述过滤器的子集相关联的所述重要性分数无法满足阈值重要性分数值来从所述层中的一个或多个层去除所述子集；以及

压缩部件，所述压缩部件将所述神经网络模型转换为压缩神经网络模型，其中所述过滤器的所述子集被去除。

2.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：

推理部件，所述推理部件将所述压缩神经网络模型应用于新数据集以执行所述推理任务并且生成推理输出。

3.根据权利要求1所述的系统，其中所述评分部件采用基于梯度的评分机制来确定所述重要性分数，所述基于梯度的评分机制包括确定所述过滤器的权重的平方灵敏度梯度。

4.根据权利要求1所述的系统，其中所述评分部件通过将所述训练数据集传递通过所述神经网络模型的所述层并且确定所述过滤器的权重对所述训练数据集中的数据点的灵敏度梯度而不改变所述权重来确定所述过滤器的所述重要性分数。

5.根据权利要求1所述的系统，其中所述评分部件独立地确定所述过滤器中的每个过滤器的所述重要性分数而不考虑所述过滤器对其他层的影响。

6.根据权利要求1所述的系统，其中所述计算机可执行部件包括：

排名部件，所述排名部件根据所述层中的每个层内的所述过滤器的重要性分数来将所述过滤器相对于彼此进行排名。

7.根据权利要求1所述的系统，其中所述层包括在至少一个批归一化层之前的至少一个卷积层，并且其中基于所述过滤器子集包括被包括在所述至少一个卷积层中的第一过滤器，所述修剪部件还去除被包括在对应于所述第一过滤器的所述至少一个批归一化层中的第二过滤器。

8.根据权利要求1所述的系统，其中所述过滤器包括在所述层的两个或更多个层之间共享的残余连接过滤器，并且其中所述修剪部件应用异常，用于去除所述残余连接过滤器，不管它们的重要性分数是否无法满足所述阈值重要性分数值。

9.根据权利要求1所述的系统，其中所述神经网络模型包括具有在所述过滤器中的两个或更多个过滤器之间的残余连接的至少两个层，并且其中所述修剪部件维持所述两个或更多个过滤器，不管它们的重要性分数是否无法满足所述阈值重要性分数值。

10.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：

排序部件，所述排序部件归一化所述层中的每个层内的所述过滤器的所述重要性分数，从而产生每个层内的所述过滤器的归一化重要性分数，确定每个层的所述归一化重要性分数的累积和，并且根据与每个层相关联的所述累积和来对所述层进行排序。

11.根据权利要求10所述的系统，其中所述计算机可执行部件还包括：

阈值化部件，所述阈值化部件基于所述归一化重要性分数对与每个层相关联的所述累积和的贡献的量度来确定所述阈值重要性分数值。

12.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：

微调部件，所述微调部件使用所述训练数据集重新训练所述压缩神经网络，从而产生优化的压缩神经网络。

13.根据权利要求1所述的系统，其中所述压缩神经网络模型相对于所述神经网络模型具有更小存储器占用和更高推理速度。