[发明专利]一种基于边缘计算的深度神经网络压缩方法及系统

权利要求书

1.一种基于边缘计算的深度神经网络压缩方法，其特征在于，包括以下步骤：

步骤一、对原始神经网络的中间层的隐藏元素随机赋予丢弃概率，所述原始神经网络为全连接神经网络；

步骤二、基于神经网络压缩机，以所述原始神经网络中的网络层的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率，将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

2.根据权利要求1所述的基于边缘计算的深度神经网络压缩方法，其特征在于，所述步骤一具体包括：

利用伯努利分布获取所述原始神经网络中的所有隐藏元素的丢弃概率密度函数，所述原始神经网络为全连接神经网络；

基于丢弃概率密度函数，通过带丢弃操作的全连接算子获取隐藏元素的最佳丢弃概率，将原始神经网络的中间层的隐藏元素随机赋予最佳丢弃概率。

3.根据权利要求1所述的基于边缘计算的深度神经网络压缩方法，其特征在于，所述步骤二具体包括：

获取所述原始神经网络中的每个网络层中的权重矩阵，记为，l表示原始神经网络的层数，，表示实数矩阵，表示第l层的维度，表示第l-1层的维度；

将长短期记忆网络作为神经网络压缩机的网络结构，以所述原始神经网络中的每个网络层中的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率；

将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

4.根据权利要求1所述的基于边缘计算的深度神经网络压缩方法，其特征在于，还包括：

采用梯度下降法对所述神经网络压缩机的神经网络进行迭代优化，从而得到优化后的所述神经网络压缩机，基于优化后的所述神经网络压缩机执行所述步骤二。

5.一种基于边缘计算的深度神经网络压缩系统，其特征在于，包括：

赋予概率模块，用于对原始神经网络的中间层的隐藏元素随机赋予丢弃概率，所述原始神经网络为全连接神经网络；

丢弃操作模块，用于基于神经网络压缩机，以所述原始神经网络中的网络层的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率，将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

6.根据权利要求5所述的基于边缘计算的深度神经网络压缩系统，其特征在于，所述赋予概率模块具体包括：

密度函数获取模块，用于利用伯努利分布获取所述原始神经网络中的所有隐藏元素的丢弃概率密度函数，所述原始神经网络为全连接神经网络；

概率获取模块，用于基于丢弃概率密度函数，通过带丢弃操作的全连接算子获取隐藏元素的最佳丢弃概率，将原始神经网络的中间层的隐藏元素随机赋予最佳丢弃概率。

7.根据权利要求5所述的基于边缘计算的深度神经网络压缩系统，其特征在于，所述丢弃操作模块具体包括：

权重获取模块，用于获取所述原始神经网络中的每个网络层中的权重矩阵，记为，l表示原始神经网络的层数，，表示实数矩阵，表示第l层的维度，表示第l-1层的维度；

冗余滤除模块，用于将长短期记忆网络作为神经网络压缩机的网络结构，以所述原始神经网络中的每个网络层中的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率；

丢弃模块，用于将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

8.根据权利要求5所述的基于边缘计算的深度神经网络压缩系统，其特征在于，还包括：

优化模块，用于采用梯度下降法对所述神经网络压缩机的神经网络进行迭代优化，从而得到优化后的所述神经网络压缩机。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。