[发明专利]神经网络剪枝方法、装置、电子设备及计算机可读介质

说明书

本发明实施例公开了一种神经网络剪枝方法、装置、电子设备及计算机可读介质，其中方法包括：按照负载均衡的处理策略对神经网络中的权值数据进行剪枝，直至被去除的权值数据达到设定好的阈值，继而，使用预先存储的数据集对去除了权值数据后的神经网络进行运算。通过本申请，解决了因稀疏性问题带来的每个神经元的运算量不同而出现的负载不均衡的问题，提高了运算速度。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种神经网络剪枝方法、装置、电子设备及计算机可读介质。

背景技术

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络由大量的节点(或称神经元)之间星湖连接构成，通过调整内部大量节点之间相互连接的关系，利用输入神经元数据、权值产生输出数据模拟人脑的信息处理过程处理信息并生成模式识别之后的结果。

目前，神经网络被广泛应用在计算机视觉的各个领域，如图像识别、物体检测、图像分割等。然而，在实际应用中，神经网络模型往往有着数量庞大的模型参数(例如，超大规模权值)，在这种情况下，这意味着神经网络需要大量的计算资源和存储资源，大量的计算资源和存储资源的开销会降低神经网络的运算速度，对硬件的传输带宽以及运算器的要求也大大提高了，因此，如何在减少神经网络模型的参数的同时，降低神经网络的计算量变得十分重要。

现有技术中，通过剪枝方法对神经网络模型的参数进行调整，以减少神经网络模型的参数以及降低神经网络的计算量。但是，在对神经网络模型进行剪枝的过程中，容易导致神经网络模型出现稀疏性问题。上述稀疏性问题会引入不规则性，将原有规则的拓扑结构变得不规则，导致每个输出神经元的运算量不同，进而出现负载不均衡的问题。

发明内容

本发明实施例提供一种神经网络剪枝方法、装置、电子设备及计算机可读介质，解决了因稀疏性问题带来的每个神经元的运算量不同而出现的负载不均衡的问题，提高了运算速度。

第一方面，本发明实施例提供了一种神经网络剪枝方法，该方法包括：

获取第一输入数据；其中，所述第一输入数据包括第一权值数据；

将所述第一权值数据调整为第二权值数据；

根据第二输入数据执行神经网络计算，其中，所述第二输入数据包括所述第二权值数据以及输入神经元数据。

可选的，所述将所述第一权值数据调整为第二权值数据，包括：

对所述第一权值数据进行分组，得到M组权值；其中，M为大于0的正整数；

根据预设的稀疏度P确定所述M组权值中至少一组权值的阈值；

根据确定好的所述阈值对所述M组权值中的至少一组权值进行剪枝，得到第二权值数据。

可选的，所述将所述第一权值数据调整为第二权值数据，包括：

对所述第一权值数据进行分组，得到M组权值；其中，M为大于0的正整数；

根据预设的稀疏度P确定所述M组权值中每组权值的阈值；

根据确定好的所述阈值对所述M组权值中的每组权值进行剪枝，得到第二权值数据。

可选的，所述神经网络为全连接层神经网络；

所述根据预设的稀疏度P确定所述M组权值中每组权值的阈值，包括：

确定所述M组权值中的第i组权值中第Q个权值为每组权值的阈值，其中，N_in为输入神经元的个数，N_out为输出神经元的个数，所述第i组中的权值按绝对值从小到大顺序排列，所述i为小于等于M的正整数。

可选的，所述Q为经过取整计算得到的。