[发明专利]基于批数据的AI芯片片上网络调度方法和装置

权利要求书

1.一种基于批数据的AI芯片片上网络调度方法，其特征在于，所述调度方法包括：

将待计算的数据划分成多个批数据，根据预设的分时复用调度策略，在读取下一个批数据的同时，将当前批数据采用片上总线发送至计算单元执行矩阵运算。

2.根据权利要求1所述的基于批数据的AI芯片片上网络调度方法，其特征在于，所述调度方法还包括：

在矩阵计算过程中，采用二级缓存通过片上总线对存储在设备内存中的待计算的数据进行读取。

3.根据权利要求1或2所述的基于批数据的AI芯片片上网络调度方法，其特征在于，所述根据预设的分时复用调度策略，在读取下一个批数据的同时，将当前批数据采用片上总线发送至计算单元执行矩阵运算是指：

在同一个调度周期内，采用第一路径组从设备内存中读取新下一个批数据，同时，采用第二路径组将当前批数据发送至计算单元执行矩阵运算。

4.根据权利要求3所述的基于批数据的AI芯片片上网络调度方法，其特征在于，每个第二路径对应至少2个计算单元。

5.根据权利要求3所述的基于批数据的AI芯片片上网络调度方法，其特征在于，所述方法还包括：

将一个或多个路径设置成高优先级；

采用二维仲裁机制对路径和计算单元的对应关系进行调整，以切换每个计算单元的优先级关系。

6.根据权利要求5所述的基于批数据的AI芯片片上网络调度方法，其特征在于，所述二维仲裁机制是指：

其中一个路径具有高优先级，其他路径优先级相同，每个路径对应于至少一个计算单元，路径与计算单元的对应关系满足以下性质：

(1)在同一个调度周期内，每个路径对应的计算单元不同；

(2)路径与计算单元的对应关系按照调度周期循环变更。

7.一种基于权利要求1-2所述调度方法的基于批数据的AI芯片片上网络调度装置，其特征在于，所述调度装置包括：

用于将待计算的数据划分成多个批数据的模块；

用于设置分时复用调度策略的模块；

用于根据预设的分时复用调度策略，在读取下一个批数据的同时，将当前批数据采用片上总线发送至计算单元执行矩阵运算的模块。