[发明专利]基于过滤器重要性的深度神经网络压缩

说明书

本发明题为“基于过滤器重要性的深度神经网络压缩”。本发明提供了用于使用可扩展且有效的结构化过滤器修剪方法来压缩深度神经网络的技术。根据一个实施方案，一种计算机实现的方法包括由操作性地耦接到处理器的系统确定直到对训练数据集的推理任务的收敛为止先前训练的神经网络模型的层的过滤器的重要性分数。该方法还包括由该系统基于与该过滤器的子集相关联的该重要性分数无法满足阈值重要性分数值来从该层中的一个或多个层去除该子集。该方法还包括由该系统将该神经网络模型转换为压缩神经网络模型，其中该过滤器的该子集被去除。

技术领域

本申请整体涉及深度学习，并且更具体地涉及用于压缩深度神经网络的计算机实现的技术。

背景技术

近年来，深度神经网络(DNN)在各种计算机视觉任务诸如图像分类、分割和对象检测中实现了现有技术性能。特别地，卷积神经网络(CNN)甚至已经被证明在流行的ImageNet数据集上的图像分类时实现比人类更好的性能。这种成功已经通过大规模数据集与计算硬件技术的进步的组合达成，这两者的组合一起允许研究员设计和训练更深且更复杂的DNN。

然而，现代CNN已经被证明是严重地过参数化的。这使它们部署在资源约束平台(诸如医学成像设备、移动电话和类似的设备上)变得具有挑战性，因为用数千万个参数的推理可能是缓慢的，并且此类模型甚至可能不适配在给定设备上可用的有限存储器内。

网络修剪是解决该问题的一种流行的方法。通过修剪，通过去除冗余权重来从更大基本模型得到更小子网络。多年来，已经有若干论文来证实各种修剪方法的功效。然而，现有修剪方法要么存在高度的复杂性(从而引起更缓慢训练)，要么无法改善推理速度。

发明内容

以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施方案中，系统、计算机实现的方法、装置和/或计算机程序产品促成使用可扩展且有效的结构化过滤器修剪方法压缩DNN。

根据一个实施方案，提供了由操作性地耦接到处理器的系统执行的计算机实现的方法。该方法包括由该系统确定直到对训练数据集的推理任务的收敛为止先前训练的神经网络模型的层的过滤器的重要性分数。该方法还包括由该系统基于与过滤器的子集相关联的重要性分数无法满足阈值重要性分数值来从层中的一个或多个层去除该子集。该方法还包括由该系统将神经网络模型转换为压缩神经网络模型，其中过滤器的子集被去除。

在各种实施方案中，通过将训练数据集传递通过神经网络模型的层并且确定过滤器的权重对训练数据集中的数据点的灵敏度梯度来确定重要性分数。独立地确定过滤器中的每个过滤器的重要性分数而不考虑过滤器对其他层的影响。在一些具体实施中，该方法还包括由该系统根据层中的每个层内的过滤器的重要性分数来将该过滤器相对于彼此进行排名。

在一个或多个实施方案中，层包括在至少一个批归一化层之前的至少一个卷积层。在这些实施方案中的一些具体实施中，基于过滤器子集包括被包括在至少一个卷积层中的第一过滤器，该方法还包括由该系统去除被包括在对应于第一过滤器的至少一个批归一化层中的第二过滤器。附加地或另选地，过滤器包括在两个或更多个层之间共享的残余连接过滤器，并且其中去除包括应用异常，用于去除残余连接过滤器，不管它们的重要性分数是否无法满足阈值重要性分数值。

在一些实施方案中，该方法还可包括由该系统将层中的每个层内的过滤器的重要性分数归一化，从而产生每个层内的过滤器的归一化重要性分数，并且确定每个层的归一化重要性分数的累积和。该方法还可包括由该系统根据与每个层相关联的累积和对层进行排序，并且由该系统基于归一化重要性分数对与每个层相关联的累积和的贡献的量度来确定阈值重要性分数值。