[发明专利]一种基于神经元复苏的神经网络训练加速方法

说明书

一种基于神经元复苏的神经网络训练加速方法，包括以下步骤：S1：监测神经网络中的神经元的活性；S2：计算神经网络的资源利用率；S3：判断神经网络的资源利用率是否低于预设阈值，如果是，则执行步骤S4，如果否，则返回步骤S1或直接对神经网络继续进行训练；S4：对失活的神经元进行复苏；S5：根据未失活的神经元和复苏的神经元对网络训练效果的影响程度情况来对神经网络进行训练。本发明解决了现有技术中存在的训练速度不够快、网络结构存在冗余的问题。

技术领域

本发明涉及深度学习领域，尤其涉及一种基于神经元复苏的神经网络训练加速方法。

背景技术

随着信息技术和人工智能的发展，深度学习在众多领域均取得了令人瞩目的成绩，但是随着训练数据愈发庞大、任务愈发复杂，神经网络的规模也越来越大，使得现有的神经网络存在训练速度不够快，网络结构存在冗余等问题，因此如何快速有效地设计并训练网络就成为了一个突出问题。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决现有技术中存在的训练速度不够快、网络结构存在冗余的问题，本发明提出一种基于神经元复苏的神经网络训练加速方法。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于神经元复苏的神经网络训练加速方法，包括以下步骤：

S1：监测神经网络中的神经元的活性；

S2：计算神经网络的资源利用率；

S3：判断神经网络的资源利用率是否低于预设阈值，如果是，则执行步骤S4，如果否，则返回步骤S1或直接对神经网络继续进行训练；

S4：对失活的神经元进行复苏；

S5：根据未失活的神经元和复苏的神经元对网络训练效果的影响程度情况来对神经网络进行训练。

进一步地，步骤S1具体包括：在神经网络中处于卷积层之后的BN层中设置神经元活性监视器，通过所述神经元活性监视器对神经网络中的神经元的活性进行监测。

进一步地，通过所述神经元活性监视器对神经网络中的神经元的活性进行监测具体包括：所述神经元活性监视器监测神经网络中的所有神经元的尺度参数γ是否小于0.01*γ_max，若小于，则将对应的神经元判定为失活神经元，若否，则为未失活神经元，其中γ_max为神经元所在的BN层的所有神经元的尺度参数的最大值。

进一步地，步骤S1还包括：将神经网络中的所有神经元的尺度参数γ的L1范数加入到原损失函数上以作为神经网络的新的损失函数。

进一步地，步骤S2具体包括：在神经网络前向传播过程中得到有效资源U(θ_A)和总资源占用C(θ_A)，并根据r(θ_A)＝U(θ_A)/C(θ_A)计算得到资源利用率r(θ_A)。

进一步地，

当以计算量为资源时，计算的资源利用率为：

当以可训练的参数量为资源时，计算的资源利用率为：