[发明专利]神经网络模型部署方法、装置及设备

权利要求书

1.一种神经网络模型部署方法，其特征在于，包括：

获得已训练好的卷积神经网络模型；

对所述卷积神经网络模型中卷积层的权重参数进行矩阵分解，获得所述卷积层的矩阵分解结果；

根据所述矩阵分解结果，调整所述卷积神经网络模型的结构，以对所述卷积神经网络模型进行压缩，得到所述卷积神经网络模型的压缩后模型；

对所述压缩后模型进行部署。

2.根据权利要求1所述的方法，其特征在于，所述根据所述矩阵分解结果，调整所述卷积神经网络模型的结构，包括：

根据所述矩阵分解结果，确定用于替换所述卷积层的替代层，所述替代层的权重参数的数量少于所述卷积层的权重参数的数量；

采用所述替代层替换所述卷积神经网络模型中的所述卷积层。

3.根据权利要求2所述的方法，其特征在于，所述矩阵分解结果包括多个求和项；

所述根据所述矩阵分解结果，确定用于替换所述卷积层的替代层，包括：

根据所述多个求和项中的部分求和项，确定用于替换所述卷积层的替代层。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述多个求和项中所述部分求和项之外的其他求和项，确定所述替代层的偏置参数。

5.根据权利要求2所述的方法，其特征在于，所述对所述卷积神经网络模型中卷积层的权重参数进行矩阵分解，包括：

按照所述卷积神经网络模型中卷积层的输入通道，对所述卷积层的权重参数进行分组，并将每组权重参数作为二维矩阵进行矩阵分解，得到每组权重参数的第一矩阵分解结果；和/或，

按照所述卷积神经网络模型中卷积层的输出通道，将所述卷积层的权重参数进行分组，并将每组权重参数作为二维矩阵进行矩阵分解，得到每组权重参数的第二矩阵分解结果。

6.根据权利要求5所述的方法，其特征在于，每组权重参数的所述第一矩阵分解结果包括多个第一求和项，各第一求和项均对应一个用于表征其重要程度的能量；

所述根据所述矩阵分解结果，确定用于替换所述卷积层的替代层，包括：

按照能量由大至小的顺序，对每组权重参数的所述多个第一求和项进行排序，并选择排序靠前的部分求和项作为第一目标求和项；

根据每组权重参数的所述第一目标求和项，确定用于替换所述卷积层的替代层。

7.根据权利要求5所述的方法，其特征在于，每组权重参数的所述第二矩阵分解结果包括多个第二求和项，各第二求和项均对应一个用于表征其重要程度的能量；

所述根据所述矩阵分解结果，确定用于替换所述卷积层的替代层，包括：

按照能量由大至小的顺序，对每组权重参数的所述多个第二求和项进行排序，并选择排序靠前的部分求和项作为第二目标求和项；

根据每组权重参数的所述第二目标求和项，确定用于替换所述卷积层的替代层。

8.根据权利要求5所述的方法，其特征在于，每组权重参数的所述第一矩阵分解结果包括多个第一求和项，各第一求和项均对应一个用于表征其重要程度的能量；每组权重参数的所述第二矩阵分解结果包括多个第二求和项，各第二求和项均对应一个用于表征其重要程度的能量；

所述根据所述矩阵分解结果，确定用于替换所述卷积层的替代层，包括：

按照能量由大至小的顺序，对每组权重参数的所述多个第一求和项进行排序，并选择排序靠前的部分求和项作为第一目标求和项；

按照能量由大至小的顺序，对每组权重参数的所述多个第二求和项进行排序，并选择排序靠前的部分求和项作为第二目标求和项；

基于目标策略，选择所述第一目标求和项或所述第二目标求和项作为特定目标求和项，并根据特定目标求和项确定用于替换所述卷积层的替代层。

9.根据权利要求8所述的方法，其特征在于，所述目标策略包括求和项最少策略或能量最大策略。