[发明专利]一种异构编程模型并行方法

说明书

本发明所述的一种异构编程模型并行方法，适用于SWAI芯片，其中，该方法涉及主机端属性函数、设备端属性函数、核函数，主机端属性函数修饰变量时，该变量在CPU Memory里；主机端属性函数修饰函数时，该函数是CPU执行的函数；设备端属性函数修饰变量时，该变量在SWAI Memory里；设备端属性函数修饰函数时，该函数是CPU执行的函数；核函数是通用属性函数，在设备端执行，从主机端调用，返回类型是void，核函数的参数是不可变参数，包括：该程序需要用到的核组数量，该程序用到的从核数量。是基于CPU和SWAI芯片的异构编程模型，使用户可方便的使用SWAI芯片对AI应用进行加速。

技术领域

本发明涉及一种异构系统的编程模型，特别涉及一种异构编程模型并行方法。

背景技术

异构系统是由功能和性能相异的处理器，基于一定的互连结构连接起来构成的计算系统，通常是由通用微处理器和专用加速处理器构成，比较典型的异构系统有CPU(通用处理器)加GPU(指图形处理器)。

异构系统的编译系统和编译流程与同构系统(例如：CPU服务器集群)有很大差异，由于异构系统中不同的处理器具有不同的性能优化模型，很难以通用策略利用各个处理器，典型的异构编译系统包括NVDIA CUDA、AMD HIP、OpenCL、OpenAcc等。其中，CUDA是专门针对NVDIA GPU推出的计算平台，用户通过编写CUDA代码并使用CUDA编译系统进行编译。

CUDA计算平台支持混合编译，其编译流程更为复杂，CUDA编译器中，先利用NVCC编译器将异构混合编程代码.cu文件，预处理拆分成CPU端即主机端的预处理生成文件Host.ii以及GPU端即设备端的预处理生成文件Device.ii。Device.ii再经过GPU编译器最终生成了Device.fatbin文件(全称是Fat Binary文件)，fatbin文件里面包含了GPU的二进制代码。同时，cudafe++编译器将fatbin文件与Host.ii结合到一起生成二进制文件.o。如果用户代码是多个.cu文件，那么会多次重复上述过程，生成多个.o文件，最终，将多个.o文件链接生成为a.out文件。

为了隐藏底层细节，使得用户能够在异构系统上编程，CUDA异构编程是一种使用NVIDIA GPU的编程方式，其中CUDA的runtime接口使用最为广泛，如图1所示。

从图2所示的GPU示意图上来看，一块标准的GPU主要包括通用计算单元、控制器和寄存器，GPU具有高并行结构(highly parallel structure)、拥有更多的ALU(ArithmeticLogic Unit，逻辑运算单元)用于数据处理，这样的结构适合对密集型数据进行并行处理所以GPU在处理图形数据和复杂算法方面拥有比CPU更高的效率。

在GPU快速发展的基础上构建的上述现有异构编程模型给用户提供了更好的编程体验，使得用户可以通过模型提供的接口，使用异构系统，并发挥充分发挥系统的性能。

然而，SWAI芯片是用于AI计算领域的专用芯片，其主要的使用模式是CPU通过PCIE与SWAI芯片进行通信，CPU将不同的任务分发到SWAI芯片的各个运算核组上或运算核心上，采用现有异构编程模型无法挥充分发挥系统的性能，因而，亟待改进和完善。

发明内容

本发明所述的一种异构编程模型并行方法，是基于CPU和SWAI芯片的异构编程模型(简称SDAA编程模型)向用户提供的接口，使得用户不需要关注底层硬件之间的通信与相互协同的过程，可方便的使用SWAI芯片对AI应用进行加速。

本发明所述的一种异构编程模型并行方法，适用于SWAI芯片，SWAI芯片是AI领域的专用芯片，包括一个主核及4个核组，其中，主核负责调度，4个核组的每个核组包括32个从核，每个从核都有一个脉动阵列运算单元；其中，

该方法涉及主机端属性函数、设备端属性函数、核函数，