[发明专利]网络模型压缩方法、装置

说明书

本申请的实施例提供了一种网络模型压缩方法、装置。该方法包括：获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。本申请实施例的技术方案可以在对网络模型进行压缩的情况下保持模型的精度。

技术领域

本申请涉及人工智能及神经网络技术领域，具体而言，涉及一种网络模型压缩方法、装置。

背景技术

当前用于图像识别的网络模型需要消耗大量算力、内存和电量，为了解决这一问题，现有技术一般通过Kmeans聚类来确定并去掉冗余滤波器，以此实现对网络模型的压缩。然而，现有的对网络模型进行压缩的方法会弱化模型的效果，降低模型对图像进行识别的精度。基于此，如何在对网络模型进行压缩的情况下保持模型的精度是亟待解决的技术问题。

发明内容

本申请的实施例提供了一种网络模型压缩方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备，进而至少在一定程度上可以在对网络模型进行压缩的情况下保持模型的精度。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种网络模型压缩方法，所述方法包括：获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的向量距离；通过任意两个滤波器之间的向量距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述中心滤波器提取的图像特征中包括所述非中心滤波器提取的部分图像特征；对所述非中心滤波器进行剪枝，得到由所述中心滤波器构成的压缩网络模型。

根据本申请实施例的一个方面，提供了一种网络模型压缩装置，所述装置包括：获取单元，被用于获取待压缩的网络模型，所述网络模型中包括至少两个滤波器，所述滤波器用于对输入至所述网络模型的数据进行特征提取；计算单元，被用于基于各个滤波器中的滤波器参数，计算任意两个滤波器之间的距离；确定单元，被用于通过任意两个滤波器之间的距离，确定所述网络模型中的中心滤波器和非中心滤波器，所述非中心滤波器提取的特征靠近所述中心滤波器提取的特征；剪枝单元，被用于对所述非中心滤波器进行剪枝，得到压缩网络模型。

在本申请的一些实施例中，基于前述方案，所述确定单元配置为：针对所述至少两个滤波器中的每一个目标滤波器，对所述目标滤波器与除所述目标滤波器之外的滤波器的向量距离进行求和，得到所述目标滤波器的目标距离求和；基于所述目标距离求和，将至少一个目标滤波器确定为中心滤波器；将除所述至少一个目标滤波器之外的滤波器确定为非中心滤波器。

在本申请的一些实施例中，基于前述方案，所述确定单元配置为：按照预先确定的滤波器剪枝比例，确定所述中心滤波器的保留数量；按照目标距离求和从大到小的顺序，对各个目标滤波器进行排序；将排序靠前的所述保留数量的目标滤波器确定为中心滤波器。

在本申请的一些实施例中，基于前述方案，所述装置还包括：更新单元，被用于在对所述非中心滤波器进行剪枝之前，针对每一个中心滤波器，构造一个滤波器集合；针对每一个非中心滤波器，确定距离所述非中心滤波器最近的目标中心滤波器，并将所述非中心滤波器添加至所述目标中心滤波器所在的滤波器集合；更新所述网络模型中的滤波器参数，以缩小所述滤波器集合中的非中心滤波器与中心滤波器之间的向量距离。

在本申请的一些实施例中，基于前述方案，所述更新单元配置为：基于图像训练数据，对所述网络模型进行迭代训练；在每一次训练过程中，分别确定各个滤波器集合的集合梯度，以通过所述集合梯度更新所述滤波器集合中滤波器的滤波器参数。