[发明专利]面向嵌入式系统的深度神经网络压缩和加速方法及系统

权利要求书

1.一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，包括：

获取待压缩的原始神经网络模型；

对所述神经网络模型中各层的过滤器的每个输入通道进行重要性评估；

基于重要性评估结果，对所述神经网络模型中各层的过滤器采用聚类方法进行分组；

根据预设的每层的压缩率，采用聚类中心确定弱连接并进行裁剪，得到压缩后的模型；

将压缩后的模型通过局部和全局微调恢复识别性能；

将所述压缩后的模型部署到嵌入式系统中；

所述基于重要性评估结果，对所述神经网络模型中各层的过滤器采用聚类方法进行分组，具体为：

对于每个卷积层，采用欧式距离衡量过滤器重要性向量之间的相似性；

对每个层中的过滤器进行聚类分组，使得各组内欧式距离的和最小；所述采用聚类中心确定弱连接并进行裁剪，包括：

对于每个卷积层内的各分组，采用聚类中心的重要性向量替换组内各过滤器的重要性向量，构造新的向量，该向量的每个元素对应一个网络连接的重要性值；这些元素的值越小，其相应的连接越弱；

结合每个卷积层的压缩率进行裁剪。

2.如权利要求1所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，获取待压缩的原始神经网络模型后，对所述神经网络模型的每个卷积层进行重新表示：

假设表示第l个卷积层的权重，其中C_out和c_in分别为输入通道和输出通道的数目，k是卷积核的大小，是一个输入张量，第l个卷积层表示为：

Y＝WX

其中，是相应的输出向量，W_ij对应第j个输入通道和第i个输出通道之间的卷积核向量。

3.如权利要求2所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，所述重要性评估包括：

为每个过滤器构造重要性向量向量的元素V_ij表示第j个输入通道对第i个过滤器的重要性值，通过W_ij的l₁范数来评估。

4.如权利要求1所述的一种面向嵌入式系统的深度神经网络压缩和加速方法，其特征在于，所述部署到嵌入式平台包括：

对每个过滤器组，复制被共享的特征图，删除被忽略的特征图，并进行重新排列。

5.一种面向嵌入式系统的深度神经网络压缩和加速系统，其特征在于，包括：

待压缩模型获取模块，获取待压缩的原始神经网络模型；

自分组模块，对所述神经网络模型中各层的过滤器的每个输入通道进行重要性评估；基于重要性评估结果，对所述神经网络模型中各层的过滤器采用聚类方法进行分组；

模型裁剪模块，根据预设的每层的压缩率，采用聚类中心确定弱连接并进行裁剪，得到压缩后的模型；

模型微调模块，将压缩后的模型通过局部和全局微调恢复识别性能；

模型嵌入模块，将所述压缩后的模型部署到嵌入式系统中；

所述采用聚类中心确定弱连接并进行裁剪，包括：

对于每个卷积层内的各分组，采用聚类中心的重要性向量替换组内各过滤器的重要性向量，构造新的向量，该向量的每个元素对应一个网络连接的重要性值；这些元素的值越小，其相应的连接越弱；

结合每个卷积层的压缩率进行裁剪。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的面向嵌入式系统的深度神经网络压缩和加速方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的面向嵌入式系统的深度神经网络压缩和加速方法。