[发明专利]一种面向华为昇腾加速卡的自动编译运行C/C++代码的方法

说明书

本发明公开了一种面向华为昇腾加速卡的自动编译运行C/C++代码的方法，通过昇腾加速卡处理器向上层提供的Ascend平台及其自定义算子的特点，结合C/C++语言编译，以算子函数开发和调用的整体流程并整合主机和昇腾加速卡处理器的数据管理和运行调度能力，实现在昇腾加速卡上执行自定义的函数代码；其中，包括自定义算子函数的统一描述模型、针对主机和昇腾加速卡处理器内存管理的数据模型、针对Ascend平台自定义算子的自动化配置程序以及自定义算子的调用执行系统。

技术领域

本发明涉及计算机技术领域，具体涉及一种面向华为昇腾加速卡的自动编译运行C/C++代码的方法。

背景技术

昇腾加速卡是华为公司研发的高性能低功耗的AI加速模块，提供了超强的计算能力，基于CANN(AI场景的异构计算架构)提供了多层次的编程接口，以供构建AI应用。目前昇腾加速卡主要使用于需要大算力的AI模型的构建、训练和推理。近来并行计算应用、高性能计算应用的需求日渐提高，这两类应用也都需要较大的计算能力支持，作为国产化的高算力机器代表，昇腾加速卡也是未来运行这两类应用的一个可选项。

昇腾加速卡通过CANN向上层提供了统一的编程语言AscendCL， AscendCL提供的C语言API库里的算子都是目前存在的具有普用性的算子，这对于构建模型网络是可用的，但对于并行高性能应用并不适用。可以通过向AscendCL注册自己的函数来实现自定义算子，从而使用Ascend搭建更具特殊性的高性能应用。

AscendCL支持自定义C/C++语言的AI CPU算子，需要根据特定的模式编写逻辑执行代码和配置文件，包括算子模型定义、算子模型格式、算子实现等，并且通过特定的编译器编译，最后拷贝到外部算子库的特定目录。昇腾加速卡可运行的程序严重依赖于已有的算子库和运算模型。

发明内容

针对现有技术的不足，使用昇腾加速卡时执行自定义代码步骤多、繁杂，本发明旨在提供一种面向华为昇腾加速卡的自动编译运行 C/C++代码的方法，具体的说，通过昇腾统一编程语言AscendCL可自定义的AI CPU算子为基础，提出更通用的C/C++算子开发框架，目标是使得可以更高效、方便地开发特定的高性能算子，在昇腾平台构建有特殊需要的AI应用和高性能应用。

为了实现上述目的，本发明采用如下技术方案：

一种面向华为昇腾加速卡的自动编译运行C/C++代码的方法，通过昇腾加速卡处理器向上层提供的Ascend平台及其自定义算子的特点，结合C/C++语言编译，以算子函数开发和调用的整体流程并整合主机和昇腾加速卡处理器的数据管理和运行调度能力，实现在昇腾加速卡上执行自定义的函数代码，该方法实现最终为一个软件框架的形式；其中，包括自定义算子函数的统一描述模型、针对主机和昇腾加速卡处理器内存管理的数据模型、针对Ascend平台自定义算子的自动化配置程序以及自定义算子的调用执行系统。

需要说明的是，所述自定义算子函数的统一描述模型是为了在满足Ascend平台规定的自定义算子约束的前提下，适应各种类型参数的自定义函数；通过模板编程和多余参数的方式，使得算子函数统一模型可以涵括各种类型数据和规范化入参和返回值。

需要说明的是，所述针对主机和昇腾加速卡处理器内存管理的数据模型是整合了主存的内存分配方式和昇腾加速卡处理器的内存分配，以两者间的数据拷贝，通过数据模型的数据描述结构产生算子调用时的json描述文件，进而调用算子。

需要说明的是，所述针对Ascend平台自定义算子的自动化配置程序为一个根据用户自定义的算子、调用的算子及数据模型实例生成配置文件的自动化模块，同时处理与算子无关的Ascend平台规范的逻辑代码。