[发明专利]深度学习框架编译器宽度非一致自动向量优化方法

说明书

本发明公开一种深度学习框架编译器宽度非一致自动向量优化方法，基于异构平台，包括以下步骤：S1、框架编译器前端识别计算图中可进行向量优化的子图，S2、框架编译器中端对步骤S15标记的可进行向量优化的子图中的算子进行融合，并计算图编译为底层IR，S3、框架编译器后端根据异构众核处理器的控制核心和计算核心的向量宽度，分别对步骤S2中获得的底层IR进行宽度非一致的向量优化，S4、框架编译器的代码生成模块将步骤S32获得的向量优化后的底层IR转换为用户指定的高级语言代码，并通过基础编译器生成向量优化后的平台目标码。本发明进一步的挖掘深度学习负载的指令集并行性能，提升深度学习负载的向量化程度，从而提升深度学习负载在异构众核平台上的推理性能。

技术领域

本发明涉及一种深度学习框架编译器宽度非一致自动向量优化方法，属于深度学习技术领域。

背景技术

深度学习工作负载需要部署在特定硬件才能够充分发挥其作用。目前深度学习领域开发人员设计了多种框架，例如Tensorflow、Caffe等，来完成深度学习模型的训练和推断任务，同时硬件厂商也推出了多种硬件后端，例如GPU、FPGA等，来加速深度学习模型的训练和推断速度。大量不同的深度学习框架和越来越多的硬件架构之间需要一个桥梁。深度学习框架编译器作为一个完整的优化工具链，提供了将不同框架的深度学习工作负载部署到各种硬件设备上的端到端解决方案。

国产异构众核处理器采用新型的片上异构融合体系结构，在基本指令系统的基础上，增加了向量扩展指令系统，以增强处理器指令集并行能力，实现了多种类型的向量扩展加速指令，非常适合加速深度学习模型的推理任务。指令级并行是提高程序运行性能的一种主流手段，向量指令被广泛用于提升课题的指令集并行优化上，且达到很好的优化效果。深度学习的推理过程同时对大量数据进行相同操作，因此非常适合进行向量优化。

目前异构众核是高性能计算硬件平台发展的趋势，但是在功耗、面积、频率的限制下，主从异构设计的差异性也越来越大，主控制或主计算分别成为主核和从核的区分标志。在向量宽度的设计上，控制核心并不需要太高的向量宽度，而计算核心则更讲究计算的数据效率，即主核和从核在短向量的宽度选择上并不会采取统一的宽度标准。

GCC和LLVM等基础编译器中的自动向量优化遍能够发现高级语言中存在优化潜力的代码段，并自动对其进行向量优化。然而，在深度学习负载的部署过程中，框架编译器在生成C++和LLVM IR等高级语言代码的同时丢失了部分计算图信息，很多具有优化潜力的代码段无法被基础编译器识别，导致深度学习负载无法充分发挥国产众核处理器的全部性能。

发明内容

本发明的目的是提供一种深度学习框架编译器宽度非一致自动向量优化方法，该深度学习框架编译器宽度非一致自动向量优化方法进一步的挖掘深度学习负载的指令集并行性能，提升深度学习负载的向量化程度，从而提升深度学习负载在异构众核平台上的推理性能。

为达到上述目的，本发明采用的技术方案是：一种深度学习框架编译器宽度非一致自动向量优化方法，基于异构平台，包括以下步骤：

S1、框架编译器前端识别计算图中可进行向量优化的子图，具体如下：

S11、以通过AI框架生成的深度学习负载作为输入，框架编译器根据AI框架的类型，识别深度学习负载的模型格式，并将深度学习负载转换为统一的计算图；

S12、框架编译器遍历步骤S11中获得的整个计算图，识别出计算图中可进行向量优化的子图，具体方法如下：

S13、框架编译器分析S11中获得的计算图中的数据依赖关系，构建计算图的数据依赖图，并基于数据依赖图，构建包含数据和语句依赖信息的有向图，使同一条语句内的所有数据节点都在一个强连通分量内，并对强连通分量之间的依赖边进行剪枝，实现有向图的更新操作；