[发明专利]神经网络稀疏化方法、装置、设备、存储介质及程序产品

说明书

本申请实施例公开了神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习、计算机视觉、自然语言处理等人工智能技术领域。该方法的一具体实施方式包括：将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；确定各关联权重组中各关联权重在预设正则化方式下的排序结果；根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。应用该实施方式可视训练出的稀疏化神经网络模型将拥有与复杂神经网络精度更接近的输出。

技术领域

本申请涉及数据技术领域，具体涉及深度学习、模型稀疏化、计算机视觉、自然语言处理等人工智能技术领域，尤其涉及神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

由于神经网络的特点，其对数据的拟合能力很大程度取决于网络的复杂程度，一个更加复杂的神经网络几乎总是能在相应的业务场景下获得更好的表现。然而随着神经网络技术的大规模应用，其相关算法的部署场景呈现出多样化，大规模化的特点。许多网络虽然在各自任务上有着非常优异的表现，然而其复杂的网络结构所带来的高推理延迟，高能耗和存储模型参数所需的庞大存储空间都限制了这些网络或模型在更多领域的应用。

面对神经网络技术愈加复杂应用场景，需要神经网络压缩技术来在神经网络表现与部署硬件有限的资源之间达到平衡，稀疏化就是一种对网络结构中不重要的子网络进行剪枝以降低其复杂程度的方法。

发明内容

本申请实施例提出了一种神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本申请实施例提出了一种神经网络稀疏化方法，包括：将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；确定各关联权重组中各关联权重在预设正则化方式下的排序结果；根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。

第二方面，本申请实施例提出了一种神经网络稀疏化装置，包括：关联权重分组单元，被配置成将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各关联权重组中均存储有预设数量的关联权重；正则化排序单元，被配置成确定各关联权重组中各关联权重在预设正则化方式下的排序结果；重要/不重要划分单元，被配置成根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；前向传播随机移除单元，被配置成在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的神经网络稀疏化方法。

第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的神经网络稀疏化方法。

第五方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的神经网络稀疏化方法。

本申请实施例提供的神经网络稀疏化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，首先，将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组，各关联权重组中均存储有预设数量的关联权重；然后，确定各关联权重组中各关联权重在预设正则化方式下的排序结果；接着，根据预设的稀疏比例和排序结果将各关联权重组中的各关联权重划分为重要权重和不重要权重；最后，在前向传播过程中按照预设的移除概率随机移除不重要权重，得到稀疏化神经网络。