[发明专利]模型的约简方法、装置、设备、存储介质和程序产品

说明书

本公开的实施例提供了用于约简模型的方法、设备、装置、存储介质和程序产品，涉及人工智能领域。在模型的约简方法中，获取融合信息，融合信息指示第一模型中的算子在微架构上运行时的融合情况；基于融合信息确定第一模型的第一算子集合，第一算子集合中包括由第一模型的至少两个算子融合而成的算子；从第一算子集合中去除至少一个冗余的算子，获得第二算子集合；以及根据第二算子集合获得第二模型。这样，本公开的实施例能够将原始模型约简为需要更少计算资源和访存资源的约简模型，并且使得约简模型的融合方式与原始模型的融合方式相同。

技术领域

本公开的实施例主要涉及人工智能领域，尤其是优化人工智能(ArtificialIntelligence,AI)模型的负载的领域。更具体地，本公开的实施例涉及用于约简模型的方法、装置、设备、计算机可读存储介质以及计算机程序产品。

背景技术

AI模型是指利用各种机器学习算法基于输入数据来提供相应输出的模型。在处理器硬件平台上运行AI模型时，可以将AI模型的计算过程抽象为计算图。计算图中的节点和边分别可以表示对变量执行的计算操作和计算操作之间的数据依赖性。对变量执行的计算操作也称为算子，算子可以包括诸如矩阵乘法算子、加法算子等简单算子，也可以包括诸如卷积算子、全连接算子等复杂算子。因此，在AI模型的计算的层面，可以用具有数据流动方向的算子集合来表征对应的AI模型。

在设计优化针对AI模型的处理器芯片或者优化AI模型的算子时，通常需要利用计算机模拟的方法来辅助在硬件平台上进行的实验或测试。例如，可以在仿真器中模拟AI模型在处理器芯片的运行以分析AI模型在特定微架构上的微架构特性。微架构是指处理器芯片中实现给定指令集架构的硬件电路系统。微架构特性可以包括计算特性、访存特性、和控制特性。AI模型的微架构特性可以表征在微架构中运行AI模型时微架构中的计算单元(例如，矩阵计算单元、向量计算单元)、访存单元(例如，数据搬运单元)以及控制单元(例如，系统控制模块、指令发射模块)的使用效率。

通过利用仿真器进行仿真，可以减少开发硬件平台所需的资源。然而，目前仿真器的效率远远低于在硬件平台上运行AI模型的效率，这导致对AI模型的仿真需要消耗大量的时间资源。因此，目前通常仅对模型的算子进行仿真而不对整个模型进行仿真。然而，对算子的仿真无法体现整个模型的微架构特性，导致仿真结果无法达到开发人员的要求。

发明内容

本公开的实施例提供了一种约简模型的方案。

在本公开的第一方面，提供了约简模型的方法。该方法包括：获取融合信息，融合信息指示第一模型中的算子在微架构上运行时的融合情况；基于融合信息确定第一模型的第一算子集合，第一算子集合中包括由第一模型的至少两个算子融合而成的算子；从第一算子集合中去除至少一个冗余的算子，获得第二算子集合；以及根据第二算子集合获得第二模型。

通过先根据融合信息确定包括融合后的算子的第一算子集合，再对包括融合后的算子的第一算子集合执行算子去重操作，本公开的实施例能够将原始模型约简为需要更少计算和访存资源的约简模型，并且使得约简模型在微架构运行时的融合方式与原始模型运行时的融合方式相同。

在第一方面的一些实施例中，获得第二算子集合包括：确定第一算子集合中的多个相同算子，多个相同算子包括一个有效算子和一个或多个冗余算子；以及将有效算子确定为第二算子集合中的算子。以此方式，可以去除所有冗余的算子从而极大地减少约简模型所需的计算和访存资源。