[发明专利]一种基于多算子融合的深度神经网络推理加速方法和系统

说明书

本发明涉及一种基于多算子融合的深度神经网络推理加速方法和系统，该方法具体为：首先输入神经网络计算图，获取神经网络计算逻辑图，依据神经网络算子间计算关系，获取完整的神经网络前向计算的符号表达式；然后使用可融合算子搜索方法，利用算子符号表达式自动简化系统，化简神经网络前向计算的符号表达式，获取最简的符号表达式，实现多算子融合；再依据多算子融合结果，根据获得的最简符号表达式，构建新的神经网络计算推理逻辑图，解耦最简符号表达式，离线计算并存储为新的模型参数，构建相应的神经网络模型结构；最后加载新的模型参数实现推理加速。本发明能够减少算子执行间隙的开销，提升设备计算资源利用率，优化网络整体推理速度。

技术领域

本发明属于人工智能技术领域，涉及一种基于多算子融合的深度神经网络推理加速方法和系统。

背景技术

在人工智能领域，深度神经网络通常是一个很深的神经网络，包含很多网络参数，例如ResNet-101 包含101层的网络结构，以及2300多万的网络参数。这使得在部署推理阶段，深度神经网络的推理速度受到很大的挑战。算子融合是一种神经网络推理加速技术。算子融合是通过分析和优化现有网络计算图逻辑，对原有计算逻辑进行拆分、重组、融合等操作，以减少算子执行间隙的开销并且提升设备计算资源利用率，从而实现网络整体执行时间的优化。

当前的算子融合技术主要针对少量的算子（2-3个算子），且算子的类型相对固定，如卷积、BN等，这就限制了算子融合的扩展以及推理性能的提升。并且，当前的算子融合技术仅仅基于用户的手推公式，来实现简单的算子融合，这就限制了算子数量的增加，对于复杂的深度网络也很难应用同样的方法，缺乏一种自动化的推理工具。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多算子融合的深度神经网络推理加速方法，以解决目前的算子融合技术缺乏自动化推理工具、算子融合不彻底不深入的问题，提升模型推理的速度，其具体技术方案如下：

一种基于多算子融合的深度神经网络推理加速方法，包括如下步骤：

首先输入神经网络计算图，加载神经网络模型，获取神经网络计算逻辑图，依据神经网络算子间计算关系，获取完整的神经网络前向计算的符号表达式；

然后使用可融合算子搜索方法，完成可融合算子搜索，利用算子符号表达式自动简化系统，化简神经网络前向计算的符号表达式，获取最简的符号表达式，实现多算子融合；

再依据多算子融合结果，根据获得的最简符号表达式，构建新的神经网络计算推理逻辑图，利用算子符号表达式自动简化系统解耦最简符号表达式，将只包含模型参数、而不含输入的复合符号表达式解耦出来，离线计算并存储为新的模型参数，并构建相应的神经网络模型结构；

最后加载新的模型参数实现推理加速。

优选的，所述获取神经网络前向计算的符号表达式的具体方式为：

加载神经网络计算逻辑图，采用广度优先遍历，利用有向无环图遍历算法，遍历逻辑图每一层算子，并转换为单算子符号表达式，然后嵌套调用单算子符号表达式，得到完整的神经网络前向计算的符号表达式。

优选的，所述可融合算子搜索方法采用分治算法，所述分治算法具体包括：

分解：将神经网络分为N个重复的cell结构，每个子计算表达式表示一个cell结构，分别对其进行算子融合；

求解：对于每个cell，判断是否可将当前算子与待融合算子融合在一起，如果可以融合，利用算子符号表达式自动简化系统进行算子融合；

合并：逐个合并每个cell的算子融合结果，得到最终的算子融合结果。

优选的，所述判断是否可将当前算子与待融合算子融合在一起，具体为：

构建算子融合白名单，将可以融合的算子制成索引，当发现当前算子与待融合算子在算子融合白名单中，即判断可以将当前算子与待融合算子融合在一起。