[发明专利]多芯片互连系统及神经网络加速处理方法

权利要求书

1.一种多芯片互连系统，其特征在于，应用于神经网络的加速推理运算，所述多芯片互连系统包括：若干桥接器和至少两个加速芯片，每个加速芯片均通过桥接器与其余加速芯片进行互连，以构成板上芯片组对神经网络进行加速处理，其中芯片组中的加速芯片加载至少一个网络单元，所述网络单元为神经网络被按预设的分拆策略进行分拆后形成的网络单元。

2.根据权利要求1所述的多芯片互连系统，其特征在于，每个所述桥接器用于各加速芯片中相同链路端口编号的互连，其中每个加速芯片中各个链路端口按序编号。

3.根据权利要求1所述的多芯片互连系统，其特征在于，所述桥接器与每个设备的两个或两个以上端口相连。

4.根据权利要求1所述的多芯片互连系统，其特征在于，所述分拆策略包括以下一种分拆方式：沿模型深度方向纵向拆分、沿模型深度方向横向拆分、沿模型深度方向纵向及横向拆分。

5.根据权利要求1所述的多芯片互连系统，其特征在于，所述至少两个加速芯片包括第一主加速芯片和第一从加速芯片，其中所述第一主加速芯片和所述第一从加速芯片构成第一主从设备模式。

6.根据权利要求5所述的多芯片互连系统，其特征在于，所述第一主加速芯片通过广播方式向所述第一从加速芯片请求数据，其中所述第一主加速芯片向所述桥接器广播指令令牌信息，所述桥接器解析所述指令令牌信息，若发现目的地址与本地桥接器无路由连接，则丢弃；若发现目的地址与本地桥接器有路由连接，则向目的地地址设备转发指令令牌信息并建立握手连接，以便所述第一主加速芯片向所述第一从加速芯片请求数据。

7.根据权利要求6所述的多芯片互连系统，其特征在于，所述第一主加速芯片向所述第一从加速芯片请求数据的方式包括以下至少一种方式：直接IO/DMA模式、消息传递模式。

8.根据权利要求1所述的多芯片互连系统，其特征在于，所述多芯片互连系统还包括：控制器和主机内存，所述控制器和所述主机内存通过总线连接，所述控制器均与每个所述桥接器连接，以控制芯片组根据预设的程序指令按照预设的任务模式进行推理运算和数据通信。

9.根据权利要求8所述的多芯片互连系统，其特征在于，所述多芯片互连系统还包括：I/O设备，所述I/O设备与实时视频采集设备连接，以将所述实时视频采集设备采集的图像信息通过所述I/O设备的接口经所述桥接器加载于所述至少两个加速芯片中的至少一个加速芯片中。

10.一种神经网络加速处理方法，其特征在于，包括：

根据待加速处理的神经网络模型生成所述神经网络对应的计算图，按预设的分拆策略对所述计算图进行分割以形成若干网络单元；

按预设的部署策略将分割后的网络单元加载到板上芯片组，其中板上芯片组为如权利要求1-9中任意一项所述多芯片互连系统中的芯片组；

将待处理输入数据加载至所述板上芯片组对应的内存中；

从所述内存中获取对应的当前卷积层所需的卷积核数据，以使所述芯片组中的各加速芯片加载相应数据，并对所述待处理输入数据进行卷积运算，生成卷积运算结果进行输出。

11.根据权利要求10所述的神经网络加速处理方法，其特征在于，应用于神经网络训练过程，其中按预设的分拆策略对所述计算图进行分割以形成若干网络单元包括：按预设的分拆策略对全连接层对应的所述计算图进行分割以形成若干网络单元。