[发明专利]一种应用于电力边缘计算的残差神经网络通道剪枝方法

说明书

本发明公开了一种应用于电力边缘计算的残差神经网络通道剪枝方法，它包括：在残差网络的所有残差块的通道后添加门控单元；根据已训练好的网络模型大小以及目标参数量或计算量，进行迭代通道剪枝；本发明解决了现有技术针对电力边缘计算的残差神经网络通道剪枝会带来跳跃连接和卷积通道不对齐的问题，导致相关通道不容易被剪枝，从而无法达到较高的压缩比例等技术问题。

技术领域

本发明属于嵌入式的数据智能处理以及人工智能技术领域；尤其涉及一种应用于电力边缘计算的残差神经网络通道剪枝方法。

背景技术

近年来，深度神经网络在图像、语音等数据处理的性能已远优于传统算法，深度学习可应用于数字电网领域，其强大的数据分析、预测、建模分类能力在处理数字电网领域的复杂问题中同样具有独特优势，包括通过图像、语音等识别技术实现输电线路巡检图像分析、配电室与电缆管廊智能监控报警等，能够对电网设备周围的安全风险实现更准确的评估，另外，深度学习中对于数据的智能分析可以应用于电网调控文本知识抽取，电网电价预测等场景。在低惯量可再生能源大量接入、高比例电力电子设备的现代电力系统中，可以利用深度学习辅助实现电压控制、潮流控制、频率动态趋势感知评估与控制、连锁故障的防控和安全防御等多目标控制问题，实现对发输配变用各个环节的精准分析、判断和优化，从而提高电网的稳定性。尽管神经网络可以随着网络深度和宽度的增加提高性能，但是简单地增加深度往往会导致梯度弥散或梯度爆炸以及退化从而无法正常训练，而残差神经网络利用残差块的跳跃连接缓解了这一问题，且残差网络相比于传统的平网络(如VGG、AlexNet网络)有更加优异的性能。但是现有的残差网络其优异的性能往往依赖于巨大的参数量和计算量，因此无法直接部署于资源受限的电力嵌入式终端中。

通道剪枝是神经网络压缩的一种有效手段，其通过删除不重要的权重来减少网络参数和计算量，且由于通道剪枝是直接移除冗余通道，因而不需要额外的软件库和硬件资源的支持。但现有的通道剪枝技术往往针对平网络，而残差网络由于存在残差块的跳跃连接，直接采用对平网络的剪枝方式对残差网络会带来以下问题：1)直接进行通道剪枝会带来跳跃连接和卷积通道不对齐的问题；2)现有的针对残差网络的剪枝方法将网络中可能产生不对齐问题的通道分为同一组来避免不对齐问题，但是该方法会导致相关通道不容易被剪枝，从而无法达到较高的压缩比例。

发明内容

本发明要解决的技术问题：提供一种应用于电力边缘计算的残差神经网络通道剪枝方法，以解决现有技术针对电力边缘计算的残差神经网络通道剪枝会带来跳跃连接和卷积通道不对齐的问题，导致相关通道不容易被剪枝，从而无法达到较高的压缩比例等技术问题。

本发明技术方案：

一种应用于电力边缘计算的残差神经网络通道剪枝方法，它包括：在残差网络的所有残差块的通道后添加门控单元；根据已训练好的网络模型大小以及目标参数量或计算量，进行迭代通道剪枝。

所述门控单元的作用是：对于不重要的通道，输出为0，即删除该通道；对于重要的通道，输出为1，代表保留该通道。

所述门控单元加在所有残差块的通道中，门控单元不能够加在残差连接以及相应的卷积操作后，即保留所有的残差跳跃连接。

所述门控单元的形式为：在卷积或批标准化层(BatchNormalization)的输出通道上乘上一个可训练参数。

所述门控单元的定义如下：

上式中，α为系数，IS(α)代表该通道的重要性指标，T为阈值。

重要性指标IS代表每个通道的重要程度，值越高代表相应通道越重要；IS值的衡量基于移除该通道后损失函数的变化大小来定义，损失函数变化越大代表该通道越重要，根据泰勒一阶展开，重要性指标IS由下式得到，其中L为损失函数，梯度在网络训练中的反向传播过程中取得；