[发明专利]一种基于多算子融合的深度神经网络推理加速方法和系统

权利要求书

1.一种基于多算子融合的深度神经网络推理加速方法，其特征在于，包括如下步骤：

首先输入神经网络计算图，加载神经网络模型，获取神经网络计算逻辑图，依据神经网络算子间计算关系，获取完整的神经网络前向计算的符号表达式；

然后使用可融合算子搜索方法，完成可融合算子搜索，利用算子符号表达式自动简化系统，化简神经网络前向计算的符号表达式，获取最简的符号表达式，实现多算子融合；

再依据多算子融合结果，根据获得的最简符号表达式，构建新的神经网络计算逻辑图，利用算子符号表达式自动简化系统解耦最简符号表达式，将只包含模型参数、而不含输入的复合符号表达式解耦出来，离线计算并存储为新的模型参数，并构建相应的神经网络模型结构；

最后加载新的模型参数实现推理加速。

2.根据权利要求1所述的一种基于多算子融合的深度神经网络推理加速方法，其特征在于，所述获取神经网络前向计算的符号表达式的具体方式为：

加载神经网络计算逻辑图，采用广度优先遍历，利用有向无环图遍历算法，遍历逻辑图每一层算子，并转换为单算子符号表达式，然后嵌套调用单算子符号表达式，得到完整的神经网络前向计算的符号表达式。

3.根据权利要求1所述的一种基于多算子融合的深度神经网络推理加速方法，其特征在于，所述可融合算子搜索方法采用分治算法，所述分治算法具体包括：

分解：将神经网络分为N个重复的cell结构，每个子计算表达式表示一个cell结构，分别对其进行算子融合；

求解：对于每个cell，判断是否可将当前算子与待融合算子融合在一起，如果可以融合，利用算子符号表达式自动简化系统进行算子融合；

合并：逐个合并每个cell的算子融合结果，得到最终的算子融合结果。

4.根据权利要求3所述的一种基于多算子融合的深度神经网络推理加速方法，其特征在于，所述判断是否可将当前算子与待融合算子融合在一起，具体为：

构建算子融合白名单，将可以融合的算子制成索引，当发现当前算子与待融合算子在算子融合白名单中，即判断可以将当前算子与待融合算子融合在一起。

5.根据权利要求3所述的一种基于多算子融合的深度神经网络推理加速方法，其特征在于，所述算子符号表达式自动简化系统利用算子符号计算表达式的语法规则构造算子计算的语法树，再利用语义规则，对可融合算子的符号计算表达式进行简化，具体的，包括以下步骤：

第一步，将算子符号表达式输入到语法分析器，利用语法分析器标记出算子符号表达式中符号的结构，即根据算子符号表达式的语法规则，生成反映该结构的抽象语法树；

第二步，利用遍历工具遍历该抽象语法树，如果存在简化规则，使得遍历到的节点符合该规则，则表示该算子可以利用该规则进行简化；

第三步，将可简化的表达式输入符合表达式转换器，利用简化规则对该表达式进行简化，并返回新的抽象语法树；

最后，如不存在可简化的表达式，表示该算子表达式简化完成，返回简化结果。

6.根据权利要求5所述的一种基于多算子融合的深度神经网络推理加速方法，其特征在于，所述算子符号表达式自动简化系统，包括：

可融合算子搜索方法中符号表达式的语法集合：基于此语法集合，利用语法分析器标记出符号表达式中符号的结构，并构造能够反映该结构的语法树；

符号语义推导规则集合：即根据符号表达式的计算逻辑，进行符号简化所需的语义推导规则的集合，该集合中的语义推导规则满足：当符号表达式满足语义推导的前置条件时，其语义等价于根据该规则推导简化后的表达式的语义；当某个符号表达式可以简化时，该集合中一定存在语义推导规则，使得该符号表达式满足语义推导规则的前置条件，并能根据该推导规则进行简化；

自动简化引擎：所述自动简化引擎的输入为待简化的符号计算表达式，输出为根据符号语义推导规则简化后的符号计算表达式，该自动简化引擎包括：符号计算表达式的语法分析器，用于标记出符号表达式的符号结构，并构造反映该结构的语法树；符号表达式语法树的遍历工具，用于遍历语法树，并找到符合语义推导规则的子表达式；符号表达式的转换工具，用于将符合某条语义推导规则的子表达式转换为简化后的子表达式。