[发明专利]一种算子融合的方法、装置、存储介质及电子设备

说明书

本申请提供一种算子融合的方法、装置、存储介质及电子设备，该融合方法包括：建立各算子之间输入输出的关系，对算子进行融合类型标识，根据算子关系查看前后算子的融合类型标识，根据融合类型对前后算子进行融合。融合之前，各个算子需要将数据从片外内存拷贝到片上内存分别进行计算，再将计算结果数据从片上内存拷贝到片外内存。融合后的各算子可以看作为一个大算子，减少了数据的输入输出拷贝次数，提升深度学习性能。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种算子融合的方法、装置、存储介质及电子设备。

背景技术

随着人工智能的日益普及，深度学习的新算法和新模型层出不穷，深度学习模型可以识别图像、处理自然语言。高性能是现代深度学习训练框架的重要指标。

研究员在实现算法时会使用大量算子，算子在模型训练过程占用的时间越来越多。每一个算子的计算都需要把数据从片外存储器(例如动态随机存取存储器)搬运到片上，再将算子的输出数据搬运到片外存储器存储。因此，训练框架的高性能很大程度上依赖于对这些连续算子的整体优化，算子融合是一个重要的优化方向。

很多目前流行的深度学习框架，只支持在有限类型的服务器级图形处理器(Graphics Processing Unit，GPU)设备上获得加速，这种支持依赖于高度特化、供应商特定的GPU。然而，专用深度学习加速器的种类越来越多，这意味着现代编译器与框架越来越难以覆盖所有的硬件。

深度学习编译器TVM和MLIR等框架提出了一个统一的中间表征(IntermediateRepresentation，IR)堆栈，联系了深度学习框架和后端硬件。由计算图转换为IR后，很难在IR上进行一些图级别的性能提升的操作，而且当前TVM和MLIR很多IR上的算子融合优化也是针对GPU架构设计，并不能适用到很多其它的深度学习硬件。

发明内容

本申请提供了一种算子的融合方法、装置、存储介质及电子设备，可在IR层上对算子进行融合，减少算子间计算数据的搬移，提高计算效率。

第一方面，本申请提供一种算子融合方法，包括：遍历中间表征的多个算子；确定多个算子之间的执行关系，执行关系指示多个算子的输入与输出之间的关系；根据多个算子的类型，确定多个算子的算子标识，算子标识包括主算子与后融合算子；基于算子之间的执行关系和算子标识进行算子融合。

根据算子间的输入输出关系和算子标识进行算子融合，将多个算子融合成一个算子，融合算子中的各算子计算完毕后的数据直接给下一个算子进行计算，提高计算效率。

在一种可能的实现方式中，基于算子之间的执行关系和算子标识进行算子融合，包括：遍历多个算子，在确定第一算子的算子类型为主算子时，根据执行关系，遍历在第一算子之后执行的算子，在第一算子之后存在连续的一个或多个算子类型为后融合算子的算子时，将连续的一个或多个算子插入到第一算子后面，得到融合算子。

根据实际应用场景，由算子的类型确定算子的算子标识，将在主算子之后执行的后融合算子融入主算子。

在一种可能的实现方式中，确定多个算子之间的执行关系，包括：建立算子的输入映射表和输出映射表，输入映射表包括每个算子的算子索引输入变量的地址信息，输出映射表包括每个算子的算子索引与输出变量的地址信息；基于输入映射表和输出映射表，确定多个算子之间的执行关系。

IR层上很难进行图级别的性能优化，建立输入映射表与输出映射表，与图一样建立算子之间的输入输出关系，便于根据算子间关系进行融合。

在一种可能的实现方式中，将连续的一个或多个算子插入到第一算子后面，得到融合算子之前，包括：创建融合映射表，将连续的一个或多个算子从中间表征中删除，并将连续的一个或多个算子依次存储到融合映射表；将存储在融合映射表中的连续的一个或多个算子插入到第一算子之后，得到融合算子。