[发明专利]一种基于边缘计算的深度神经网络压缩方法及系统

说明书

本发明涉及数据处理技术领域，公开了一种基于边缘计算的深度神经网络压缩方法及系统，其方法通过对原始神经网络的中间层的隐藏元素随机赋予丢弃概率，再基于神经网络压缩机对原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率，从而将最优丢弃概率反馈给原始神经网络中进行丢弃操作，从而得到压缩网络结构，进而可以提高深度神经网络的计算处理速度，提高了视频监控处理结果的时效性和准确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于边缘计算的深度神经网络压缩方法及系统。

背景技术

现阶段，电力部门对于作业现场监控视频的处理和分析主要依赖于云计算为代表的集中式数据处理模式，尽管这种方法在很大程度提高了作业现场监督的效率，但传统视频监控系统的使用需要将数据传输到处理中心进行分析及判断，而传统的集中计算方式无法适应现有的电力作业智慧监控需求的增长和扩展。随着作业规模的不断扩大，处理的计算复杂度的提高，目前的集中式数据处理模式的计算处理速度的发展不能适应作业监控视频数据的增长，容易造成服务器产生大量的计算开销，从而降低了视频监控处理结果的准确性。

发明内容

本发明提供了一种基于边缘计算的深度神经网络压缩方法及系统，解决了因计算处理速度导致视频监控处理结果的准确性降低的技术问题。

有鉴于此，本发明第一方面提供了一种基于边缘计算的深度神经网络压缩方法，包括以下步骤：

步骤一、对原始神经网络的中间层的隐藏元素随机赋予丢弃概率，所述原始神经网络为全连接神经网络；

步骤二、基于神经网络压缩机，以所述原始神经网络中的网络层的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率，将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

优选地，所述步骤一具体包括：

利用伯努利分布获取所述原始神经网络中的所有隐藏元素的丢弃概率密度函数，所述原始神经网络为全连接神经网络；

基于丢弃概率密度函数，通过带丢弃操作的全连接算子获取隐藏元素的最佳丢弃概率，将原始神经网络的中间层的隐藏元素随机赋予最佳丢弃概率。

优选地，所述步骤二具体包括：

获取所述原始神经网络中的每个网络层中的权重矩阵，记为，l表示原始神经网络的层数，，表示实数矩阵，表示第l层的维度，表示第l-1层的维度；

将长短期记忆网络作为神经网络压缩机的网络结构，以所述原始神经网络中的每个网络层中的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率；

将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

优选地，本方法还包括：

采用梯度下降法对所述神经网络压缩机的神经网络进行迭代优化，从而得到优化后的所述神经网络压缩机，基于优化后的所述神经网络压缩机执行所述步骤二。

第二方面，本发明还提供了一种基于边缘计算的深度神经网络压缩系统，包括：

赋予概率模块，用于对原始神经网络的中间层的隐藏元素随机赋予丢弃概率，所述原始神经网络为全连接神经网络；

丢弃操作模块，用于基于神经网络压缩机，以所述原始神经网络中的网络层的权重矩阵作为输入，共享所述原始神经网络中的不同网络层之间的冗余特征进行滤除，从而输出最优丢弃概率，将所述最优丢弃概率反馈给所述原始神经网络中进行丢弃操作，从而得到压缩网络结构。

优选地，所述赋予概率模块具体包括：

密度函数获取模块，用于利用伯努利分布获取所述原始神经网络中的所有隐藏元素的丢弃概率密度函数，所述原始神经网络为全连接神经网络；