[发明专利]剪裁神经网络的方法、设备、装置及存储介质

说明书

本发明实施例提供一种剪裁神经网络的方法、设备、装置及存储介质，该方法包括：基于已完成训练的第一神经网络模型及其对应的数据集获取第一神经网络模型中每个网络层模块的输出值；基于每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵以及每个网络层模块的流形度量数值；基于每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；获取各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。这不仅降低了剪裁的计算量和计算时间，还使得剪裁后的第二神经网络模型仍具有较高的测试精度。

技术领域

本发明涉及神经网络技术领域，尤其涉及剪裁神经网络的方法、设备、装置及存储介质。

背景技术

神经网络的剪裁算法通常包括顺序的三个阶段：在大模型上训练、剪裁和微调。其中，在剪裁阶段，要根据某种规则把冗余的权重裁掉，并保留重要的权重以维持原模型的精度。

一种典型的剪裁算法为训练整个网络，目的是找出哪些是重要的“连接”；其中，设置一个阈值，剪裁掉低于该阈值的权重，将密集的网络变成稀疏的网络，最后对剩下的参数进行微调。但是，通过阈值筛选的方法从大模型中保留的权重，会使得剪裁后的模型达到一个非最优的局部最小解，并不能让剪裁后的模型变得更好。另一种典型的剪裁算法为对训练好的模型，找到给定的、预训练模型有效的网络结构；其中，按照预先设置好的比例剪裁掉卷积神经网络每一层的通道数，或者依据一种算法为各个通道打分，剪裁掉分数较低的通道后进行微调。但是，按比例剪裁通道数、或者为通道打分改变网络结构的方法，并不一定能得到比随机初始化剪裁后的模型更好的测试结果。

此外，传统方法缺乏对神经网络剪裁的可解释性说明，无法提供指导性的改进方案。

发明内容

本发明实施例的目的在于，提供一种剪裁神经网络的方法、设备、装置及存储介质。

本发明实施例提供一种剪裁神经网络的方法，包括：基于已完成训练的第一神经网络模型及其对应的数据集获取第一神经网络模型中每个网络层模块的输出值；基于每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵，并且对各个图拉普拉斯矩阵分别计算每个网络层模块的流形度量数值；基于每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；获取各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。

可选地，基于每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵包括：对每个网络层模块的输出值分别计算对应的无向图G＝(V,E)，其中，V和E分别为无向图中的节点集合和边集合；对无向图G计算归一化的图拉普拉斯矩阵L，其包括：计算无向图G的邻接矩阵A、基于邻接矩阵A计算对角矩阵D、以及基于对角矩阵D计算每个网络层模块对应的、归一化的图拉普拉斯矩阵L。

可选地，对各个图拉普拉斯矩阵分别计算每个网络层模块的流形度量数值包括通过如下公式计算归一化的图拉普拉斯矩阵L的热核：

L＝ΦΛΦ^T，

Φ＝(φ₁,φ₂…,φ_n)，

其中，H_t为归一化的图拉普拉斯矩阵L的热核，t为时刻，Φ为归一化的图拉普拉斯矩阵L分解后的特征向量矩阵，φ_i为Φ中的第i个特征向量，φ_i^T是φ_i的转置矩阵，Λ为对角矩阵，其特征值(λ₁,λ₂,…,λ_n)从小到大排序为λ₁≤λ₂…≤λ_n，λ_i为其中的第i个特征值。