[发明专利]一种基于泰勒展开及数据驱动的神经网络压缩方法

说明书

本发明公开了一种基于泰勒展开及数据驱动的神经网络压缩方法，使用所述训练用数据集训练原始神经网络模型直至收敛，获得训练神经网络模型；评估所述评估用数据集和所述训练神经网络模型，得到每一个卷积核的重要性评估值；然后去掉不重要的卷积核通道进行神经网络模型压缩，可以达到在尽量保证神经网络模型性能的前提下，将神经网络模型的参数量和模型大小压缩的效果，从而实现对现有技术中的神经网络模型进行优化，提高压缩后网络的精度，减少计算内存空间。

技术领域

本发明涉及神经网络优化技术领域，尤其涉及一种基于泰勒展开及数据驱动的神经网络压缩方法。

背景技术

卷积神经网络广泛地应用于计算机视觉的各个领域，包括物体分类和定位、行人车辆检测和视频分类等。扩大数据集的规模以及神经网络模型的参数量是深度学习成功的原因，在近些年的发展中，神经网路模型的层数从AlexNet的8层，到ResNet-152的一百多层，通过急剧的增加层数，深度神经网络在ImageNet分类任务上实现了比人更好的性能。但是神经网络模型越来越大的同时，计算资源有限的设备，如智能手机和嵌入式设备，逐渐无法搭载和运行那些性能出众但是需要消耗大量资源(计算力和显卡内存)的神经网络模型，即便使用云计算的服务，预测延迟和能源消耗也会是重要的考虑因素。

因此通过去掉冗余的、不重要的参数，对大型的神经网络模型做“瘦身”，让硬件资源有限的机器可以运行压缩后的神经网络模型，还有运行时间、功耗等，所有这些情况都将从神经网络模型压缩中受益匪浅。

发明内容

本发明的目的在于提供一种基于泰勒展开及数据驱动的神经网络压缩方法，旨在对现有技术中的神经网络模型进行优化，提高压缩后网络的精度，减少计算内存空间。

为实现上述目的，本发明采用的一种基于泰勒展开及数据驱动的神经网络压缩方法，包括下列步骤：

选取原始的神经网络模型和数据集；

将所述数据集分成训练用数据集和评估用数据集；

使用所述训练用数据集训练原始神经网络模型直至收敛，获得训练神经网络模型；

评估所述评估用数据集和所述训练神经网络模型，得到每一个卷积核的重要性评估值；

对所有卷积核的所述重要性评估值进行排序，按照裁剪比例确定阈值；

判断卷积核是否保持，获取压缩神经网络模型；

重新训练所述压缩神经网络模型。

其中，在将所述数据集分成训练用数据集和评估用数据集过程中，所述数据集分类方法为随机打乱选取，抽取比例是90％作为训练用数据集，10％作为评估用数据集。

其中，所述重要性评估值的大小取决于卷积核从有到无带来的损失函数的函数差值的绝对值。

其中，所述损失函数采用泰勒公式展开拟合。

其中，判断卷积核是否保持的步骤，包括：

比较卷积核的所述重要性评估值和所述阈值，若所述重要性评估值大于所述阈值，保留卷积核；

若所述重要性评估值小于所述阈值，去除卷积核。

其中，所述训练神经网络模型和所述压缩神经模型的裁剪压缩使用通用剪枝算法。

本发明的一种基于泰勒展开及数据驱动的神经网络压缩方法，通过评估每个特征图的重要性后去掉不重要的卷积核通道进行神经网络模型压缩，可以达到在尽量保证神经网络模型性能的前提下，将神经网络模型的参数量和模型大小压缩的效果，从而实现对现有技术中的神经网络模型进行优化，提高压缩后网络的精度，减少计算内存空间。

附图说明