[发明专利]剪裁神经网络的方法、设备、装置及存储介质

权利要求书

1.一种剪裁神经网络的方法，其特征在于，包括：

基于已完成训练的第一神经网络模型及其对应的数据集获取所述第一神经网络模型中每个网络层模块的输出值；

基于所述每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵，并且对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值；

基于所述每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离；

获取所述各个流形度量距离中的较小流形度量距离，并将其对应的非最后一个网络层模块与所述最后一个网络层模块之后的模块连接而形成剪裁后的第二神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述每个网络层模块的输出值分别计算对应的各个图拉普拉斯矩阵包括：

对所述每个网络层模块的输出值分别计算对应的无向图G＝(V,E)，其中，V和E分别为所述无向图中的节点集合和边集合；

对所述无向图G计算归一化的图拉普拉斯矩阵L，其包括：计算所述无向图G的邻接矩阵A、基于所述邻接矩阵A计算对角矩阵D、以及基于所述对角矩阵D计算所述每个网络层模块对应的、归一化的图拉普拉斯矩阵L。

3.根据权利要求2所述的方法，其特征在于，所述对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值包括通过如下公式计算所述归一化的图拉普拉斯矩阵L的热核：

L＝ΦΛΦ^T，

Φ＝(φ₁,φ₂…,φ_n)，

其中，H_t为所述归一化的图拉普拉斯矩阵L的热核，t为时刻，Φ为所述归一化的图拉普拉斯矩阵L分解后的特征向量矩阵，φ_i为Φ中的第i个特征向量，φ_i^T是φ_i的转置矩阵，Λ为对角矩阵，其特征值(λ₁,λ₂,…,λ_n)从小到大排序为λ₁≤λ₂…≤λ_n，λ_i为其中的第i个特征值。

4.根据权利要求3所述的方法，其特征在于，所述对所述各个图拉普拉斯矩阵分别计算所述每个网络层模块的流形度量数值包括使用SLQ估计公式计算所述任一个网络层模块的流形度量数值，其通过如下公式表示：

其中，X为任一个网络层模块的输出值，S(X)为任一个网络层模块的流形度量数值，Tr()为计算矩阵的迹的算符。

5.根据权利要求4所述的方法，其特征在于，所述基于所述每个网络层模块的流形度量数值分别计算每个非最后一个网络层模块与最后一个网络层模块之间的各个流形度量距离包括通过如下公式计算各个流形度量距离：

其中，Xm为任一个非最后一个网络层模块的输出值，Xn为所述最后一个网络层模块的输出值，D(Xm,Xn)为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，S(Xm)和S(Xn)分别为所述任一个非最后一个网络层模块和所述最后一个网络层模块的流形度量数值，t为时刻。

6.根据权利要求5所述的方法，其特征在于，所述计算各个流形度量距离包括：对t进行若干次采样并分别计算D(Xm,Xn)，取其中的最大距离作为所述任一个非最后一个网络层模块与所述最后一个网络层模块之间的流形度量距离，其中，t∈(0.1,10)。

7.根据权利要求1所述的方法，其特征在于，所述获取所述各个流形度量距离中的较小流形度量距离包括：

将所述第一神经网络模型中的网络层模块依次分为N组，每组中包括至少一个网络层模块，其中，N为大于或等于2的整数；

在所述最后一个网络层模块所位于的组之外的所有网络层模块中获取其与所述最后一个网络层模块之间的各个流形度量距离中的最小流形度量距离，并且将其作为所述较小流形度量距离。