[发明专利]数据处理方法及数据处理装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

从数据端口接收到卷积神经网络模型组件；

对所述卷积神经网络模型组件的多个第一类型顶点进行裁剪，以压缩所述卷积神经网络模型组件；

输出压缩后的所述卷积神经网络模型组件。

2.根据权利要求1所述的方法，其特征在于，所述第一类顶点为批标准化顶点；

所述对所述卷积神经网络模型组件的多个第一类顶点进行裁剪，以压缩所述卷积神经网络模型组件的步骤包括：

对卷积神经网络模型组件的多个批标准化顶点施加结构性稀疏约束；

根据约束后的所述批标准化顶点对应的目标权值，对所述卷积神经网络模型组件的所述批标准化顶点进行裁剪。

3.根据权利要求2所述的方法，其特征在于，所述对卷积神经网络模型组件的多个批标准化顶点施加结构性稀疏约束的步骤包括：

确定卷积神经网络模型的批标准化顶点中的非关节点；

确定所述非关节点中的一对一节点和非一对一节点；

针对所述非一对一节点施加结构化稀疏约束。

4.根据权利要求3所述的方法，其特征在于，所述确定所述非关节点中的一对一节点和非一对一节点之后，还包括：

针对一对一节点施加稀疏约束。

5.根据权利要求2所述的方法，其特征在于，所述对所述卷积神经网络模型组件的多个第一类顶点进行裁剪，以压缩所述卷积神经网络模型组件的步骤还包括：

根据所述批标准化顶点之间的路径的关系，针对所述卷积神经网络模型组件的所述批标准化顶点之间的路径进行裁剪。

6.根据权利要求5所述的方法，其特征在于，所述根据所述批标准化顶点之间的路径的关系，针对所述卷积神经网络模型组件的所述批标准化顶点之间的路径进行裁剪的步骤包括：

确定卷积神经网络模型组件中具有非桥属性的信息边；

对所述具有非桥属性的信息边的对应权值参数施加稀疏约束；

根据施加稀疏约束后的信息边的权值参数裁剪所述卷积神经网络模型的信息边。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对压缩后的卷积神经网络进行再训练。

8.根据权利要求7所述的方法，其特征在于，所述对压缩后的卷积神经网络进行再训练的步骤包括：

利用压缩前的所述卷积神经网络模型组件，通过知识蒸馏监督压缩后的积神经网络模型组件训练。

9.根据权利要求7所述的方法，其特征在于，所述对压缩后的卷积神经网络进行再训练的步骤包括：

利用预训练模型与压缩后模型的基于特征映射的距离测量，监督压缩后的卷积神经网络模型组件训练。

10.根据权利要求1所述的方法，其特征在于，所述对所述卷积神经网络模型组件的多个第一类型顶点进行裁剪，以压缩所述卷积神经网络模型组件的步骤之前，所述方法还包括：

确定裁剪参数。

11.根据权利要求10所述的方法，其特征在于，所述裁剪参数包括：裁剪选项、裁剪模式、权重、裁剪比例中至少其中一者。

12.一种终端设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行如下操作：

从数据端口接收到卷积神经网络模型组件；

所述对所述卷积神经网络模型组件的多个第一类顶点进行裁剪，以压缩所述卷积神经网络模型组件；

输出压缩后的所述卷积神经网络模型组件。