[发明专利]一种基于质谱数据集的神经网络模型压缩方法及系统

说明书

本发明实施例公开了一种基于质谱数据集的神经网络模型压缩方法及系统，对待压缩的神经网络模型进行训练，对训练好的神经网络模型进行剪枝，对剪枝后的神经网络模型进行量化，将量化后的神经网络模型的BN层和卷积层合并得到无BN层的神经网络模型，对获得的网络模型再次进行量化得到压缩模型。以大型网络作为输入模型，无关紧要的通道被自动识别和剪枝，卷积层和全连接层参数位数上的冗余被去除，并丢弃BN层，产生精度相当但薄而紧凑(高效)的模型。

技术领域

本发明实施例涉及机器学习技术领域，具体涉及一种基于质谱数据集的神经网络模型压缩方法及系统。

背景技术

自从AlexNet在2012年赢得ImageNet大赛的冠军一来，卷积神经网络在计算机视觉领域变得越来越流行，一个主要趋势就是为了提高准确率就要做更深和更复杂的网络模型，然而这样的模型在规模和速度方面显得捉襟见肘，在许多真实场景，比如机器人、自动驾驶、增强现实等任务中，很难在计算力有限的平台上实时的完成工作，这是大模型的局限性所在。模型压缩是指利用数据集对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署在受限的硬件环境中。

发明内容

为此，本发明实施例提供一种基于质谱数据集的神经网络模型压缩方法及系统，以解决现有的深度神经网络模型复杂不够精简、计算和存储开销大的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于质谱数据集的神经网络模型压缩方法，所述方法包括：

对待压缩的神经网络模型进行训练；

对训练好的神经网络模型进行剪枝；

对剪枝后的神经网络模型进行量化；

将量化后的神经网络模型的BN层和卷积层合并得到无BN层的神经网络模型，对获得的网络模型再次进行量化得到压缩模型。

进一步地，待压缩的神经网络模型包括特征提取部分和全连接层，所述特征提取部分包括多层卷积层，每层卷积层后均连接有一个BN层，每个BN层后均连接有一个ReLU层。

进一步地，采用随机梯度下降法对待压缩的神经网络模型进行训练。

进一步地，对训练好的神经网络模型进行剪枝，具体包括：

使用设定损失函数对神经网络模型进行训练，设定损失函数通过在神经网络的原损失函数上增加一项对神经网络所有BN层的γ参数的L1范数限制，使得γ参数更加稀疏，设定的损失函数的形式如下：

其中，式(1)中第一项是神经网络的原损失函数，第二项中γ是引入的可学习重构参数，它的意义是使得神经网络可以学习恢复出原始网络所要学习的特征分布，λ是两个损失函数之间的权重值，选择g(γ)＝|γ|，即γ的L1范数；

训练到一定准确率后基于神经网络所有BN层的γ参数和要剪枝的比例计算γ的阈值，然后将低于该阈值的γ对应的卷积网络里面的卷积层的输出剪掉；

对剪枝完的神经网络进行微调。

进一步地，对剪枝后的神经网络模型进行量化，具体包括：

对神经网络的卷积层和全连接层的参数进行K位量化。

进一步地，将量化后的神经网络模型的BN层和卷积层合并得到无BN层的神经网络模型，对获得的网络模型再次进行量化得到压缩模型，具体包括：

将神经网络中的每个BN层分别折算到其前侧的卷积层并获得新的卷积层参数，然后对新的卷积层参数再次进行K位量化。