[发明专利]基于中断的神经网络加速器多任务调度方法

权利要求书

1.一种基于中断的神经网络加速器多任务调度方法，其特征在于，包括以下步骤：

通过待部署神经网络模型的每个神经网络生成正常指令序列，处理所述正常指令序列生成中断位置；

获取所述中断位置进行网络切换所需必要数据，并将所述必要数据对应操作编码为虚拟指令；

将所述正常指令序列和所述虚拟指令封装，得到包含虚拟 指令的指令序列；以及

在运行阶段时，调度并解封多个神经网络封装后的包含虚拟 指令的指令序列，生成正常指令和虚拟指令，根据多个任务间切换请求对正常指令和虚拟指令进行微调，调至下一任务的指令序列。

2.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述正常指令序列为基于指令的神经网络加速器的一段指令序列，所述一段指令序列将一个神经网络的计算任务映射到加速器上。

3.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述必要数据为进行网络切换所需备份数据和恢复数据。

4.根据权利要求3所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述备份数据将片上数据搬运至片外，所述恢复数据将片外数据搬运至片上。

5.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述中断位置为所述正常指令序列执行过程中进行切换的地方，如果要进行网络任务切换，在最近到来的中断位置处进行运行状态的备份和恢复。

6.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，封装过程是将所述虚拟指令和所述正常指令进行打包，并且在打包时添加标志位，以将所述正常指令和所述虚拟指令进行区分。

7.根据权利要求1所述的基于中断的神经网络加速器多任务调度方法，其特征在于，所述在运行阶段时，调度并解封多个神经网络封装后的包含虚拟 指令的指令序列，生成正常指令和虚拟指令，根据多个任务间切换请求对正常指令和虚拟指令进行微调，调至下一任务的指令序列，包括：

在运行阶段时，利用所述待部署神经网络模型中的预设硬件单元将所述包含虚拟 指令的指令序列解封，并监控程序运行状态和任务切换请求；

当发生所述任务切换请求时，所述预设硬件单元将所述虚拟指令发送给执行单元，或根据所述运行状态对所述正常指令进行修改和调整，调至下一任务的指令序列。