[发明专利]一种模型剪枝方法、装置、电子设备及存储介质

说明书

本公开提供了一种模型剪枝方法、装置、电子设备、可读存储介质以及计算机程序产品，涉及计算机视觉、深度学习领域。具体实现方案为：根据目标子层输出的图像特征向量矩阵，确定所述目标子层中的多头自注意力模块对应的剪枝掩码，所述目标子层为视觉转换器模型的子层，所述剪枝掩码用于标识所述多头自注意力模块中待剪枝的自注意力头；利用所述剪枝掩码，对所述多头自注意力模块进行剪枝。该方案能够确定用于标识多头自注意力模块中待剪枝的自注意力头的剪枝掩码，并利用剪枝掩码，对视觉转换器模型的目标子层的多头自注意力模块进行自注意力头的剪枝。从而能够降低视觉转换器模型部署和运算所需要消耗的资源。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于计算机视觉、深度学习等场景。

背景技术

转换器(Transformer)模型是一种主要基于自注意力机制的深度神经网络模型，最初应用于自然语言处理(NLP，Natural Language Processing)。并且由于Transformer模型具有强大的表征能力，近年来Transformer模型在计算机视觉领域也得到了极大的发展。

相对于计算机视觉领域常用的基于CNN的模型而言，视觉转换器(VisionTransformer)模型的部署和运算，一般需要耗费巨大的资源。因此，如何降低VisionTransformer模型部署和运算所需要消耗的资源，已经成为Vision Transformer模型应用时亟需解决的问题。

发明内容

本公开提供了提供一种模型剪枝方法、装置、电子设备、可读存储介质以及计算机程序产品，以降低视觉转换器模型部署和运算所需要消耗的资源。

根据本公开的一方面，提供了一种模型剪枝方法，该方法可以包括以下步骤：

根据目标子层输出的图像特征向量矩阵，确定目标子层中的多头自注意力模块对应的剪枝掩码，目标子层为视觉转换器模型的子层，剪枝掩码用于标识多头自注意力模块中待剪枝的自注意力头；

利用剪枝掩码，对多头自注意力模块进行剪枝。

根据本公开的第二方面，提供了一种模型剪枝装置，该装置可以包括：

剪枝掩码确定单元，用于根据目标子层输出的图像特征向量矩阵，确定目标子层中的多头自注意力模块对应的剪枝掩码，目标子层为视觉转换器模型的子层，剪枝掩码用于标识多头自注意力模块中待剪枝的自注意力头；

模块剪枝单元，用于利用剪枝掩码，对多头自注意力模块进行剪枝。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。

本公开的技术，能够确定用于标识多头自注意力模块中待剪枝的自注意力头的剪枝掩码，并利用剪枝掩码，对视觉转换器模型的目标子层的多头自注意力模块进行自注意力头的剪枝。从而能够降低视觉转换器模型部署和运算所需要消耗的资源。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明