[发明专利]异构系统的数据处理方法、装置及计算机可读存储介质

说明书

本发明提供了一种异构系统的数据处理方法、装置及计算机可读存储介质，包括：将多个神经网络中的算子进行分类，分为加速算子和非加速算子；获取各个算子的权值；进行神经网络的加速程序，调度核选择和某个加速算子的权值相匹配的非加速算子，或选择和某个非加速算子初始权值相匹配的加速算子；不同的运算单元分别运算被选择的加速算子和非加速算子。

技术领域

本发明涉及基于神经网络的计算机系统技术领域，特别涉及一种异构系统的数据处理方法、装置及计算机可读存储介质。

背景技术

神经网络是由处理单元广泛地互相连接形成的复杂网络系统，通过调整内部节点之间相互连接的关系，从而达到处理信息的目的。随着科技的不断发展，神经网络算法的使用越来越广泛。其在图像识别、语音识别、自然语言处理等领域中都得到了良好的应用。但由于神经网络算法的复杂度越来越高，其模型的规模不断增大。基于神经网络处理器(Neural network Processing Unit，简称NPU)、中央处理器(Central Processing Unit，简称CPU)的片上系统(System on Chip，简称SOC)，具有较高的复杂度。

中断作为计算机体系结构中的重要概念，是外设与CPU交互的重要方式。但是随着神经网络的发展，促进了NPU等异构系统的出现，往往在一个SOC芯片中会有多个异构加速器存在，另外如直接存储器访问(Direct Memory Access，简称DMA)或者USB控制器等外设会加重系统的中断负担。同时Linux系统的中断处理机制导致中断过程中存在内核态与用户态的切换耗时，现有的加速器的速度需求下，已不再采用中断处理机制，换句话说，对于高性能场景来说，通过接受中断来控制不同外设的开始结束时机已经不再适用。

目前带神经网络加速器的SOC为了高性能需求，取消了硬中断带来的耗时，一般由用户自己确认加速器是否完成运算，往往在软件上采用轮询方式，在轮询结束后，如果加速器未完成运算，再通过平台延时指令主动出让CPU以避免空余。

但是现有的采用轮询机制的方法，由用户态发现硬件结束时间会造成CPU空转消耗，对于神经网络来说，应充分挖掘CPU与NPU等所有算力，应避免这种CPU空转消耗。对于主动出让CPU的操作，又会不可避免的造成无效等待。比如采用固定时间休眠的方案，对于算力较小的算子，会因为很快算完而休眠，直到设定时间结束才被唤醒。采用平台延时指令的方式又会因为得到CPU运行权的线程可能过早或过晚归还CPU运行权而造成浪费。

发明内容

本发明的目的在于提供一种异构系统的数据处理方法、装置及计算机可读存储介质，以解决现有的CPU和加速器的通信造成CPU空转消耗的问题。

为解决上述技术问题，本发明提供一种异构系统的数据处理方法，包括：

将多个神经网络中的算子进行分类，分为加速算子和非加速算子；

获取各个算子的权值；

进行神经网络的加速程序，调度核选择和某个加速算子的权值相匹配的非加速算子，或选择和某个非加速算子初始权值相匹配的加速算子；

不同的运算单元分别运算被选择的加速算子和非加速算子。

可选的，在所述的异构系统的数据处理方法中，

所述加速算子由神经网络处理器完成计算，所述非加速算子由中央处理器完成计算。

可选的，在所述的异构系统的数据处理方法中，还包括：

在调度核中形成第一队列和第二队列；

对当前需要执行的所有神经网络按照执行顺序建立多个执行队列，每个神经网络对应一个执行队列；

对每个执行队列的队首算子执行弹出操作，将弹出的队首算子分类后进行入队，加速算子归入所述第一队列，非加速算子归入所述第二队列。