[发明专利]多芯片互连系统及神经网络加速处理方法

说明书

本发明提供了一种多芯片互连系统及神经网络加速处理方法，应用于人工智能技术领域，其中多芯片互连系统包括若干桥接器和至少两个加速芯片，每个加速芯片均通过桥接器与其余加速芯片进行互连，以构成板上芯片组对神经网络进行加速处理。通过多芯片互连构成板上芯片组，为小算力加速处理器实现大规模算法模型运算提供了技术基础，可提高终端、边缘计算等设备应用神经网络的应用可能。

技术领域

本发明涉及人工智能技术领域，具体涉及一种多芯片互连系统及神经网络加速处理方法。

背景技术

随着AI（Artificial Intelligence，人工智能）技术在各领域（如算法、加速硬件等）的发展，卷积神经网络模型已被大规模应用到各行各业中，如人脸识别、安防监控、自动驾驶、语音识别等领域。

如图1所示，卷积神经网络的宏观结构主要包含输入层、隐藏层和输出层，其中输入层为上一层特征数据经卷积、池化、激活后的特征数据，如输入的特征向量x1至特征向量xn；隐藏层包含若干数量、不同结构的卷积层、池化层和全连接层等网络，如突触权值w_k1至w_kn；输出层通常是特征向量输出层通过全连接层使用逻辑函数或归一化指数函数（如softmax function作为激活函数）分类概率输出层，输出结果y_k；其中全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，比如通过求和节点，根据各个权值w_k1-w_kn和偏置b_k得到全连接层输出Vk。

现有应用方案中，虽然终端（如智能电子设备）、边缘计算等设备可以支持基于神经网络模型的加速推理运算，但是鉴于目前单芯片的算力、主存大小等方面均很难支持大规模神经网络模型，因而现有终端、边缘计算等设备中用于推理的加速器芯片，均是基于特定的小规模、简单神经网络模型设计，这时基于GPU（Graphics Processing Unit，图形处理器）或TPU（Tensor Processing Unit，张量处理单元）等生产的超大规模（如上百兆）或大模型（如几十兆）等复杂神经网络，却无法部署到现有终端、边缘计算等设备中，或者即使部署成功亦无法满足实时加速推理运算要求。

因此，亟需一种新的多芯片互连方案，以将大规模神经网络模型应用于多芯片互连后的终端、边缘计算等设备中。

发明内容

有鉴于此，本说明书实施例提供一种多芯片互连系统及神经网络加速处理方法，以支持大规模神经网络模型应用于终端、边缘计算等设备中，满足这些设备对神经网络加速推理运算要求。

本说明书实施例提供以下技术方案：

本说明书实施例提供一种多芯片互连系统，应用于神经网络的加速推理运算，所述多芯片互连系统包括：若干桥接器和至少两个加速芯片，每个加速芯片均通过桥接器与其余加速芯片进行互连，以构成板上芯片组对神经网络进行加速处理，其中芯片组中的加速芯片加载至少一个网络单元，所述网络单元为神经网络被按预设的分拆策略进行分拆后形成的网络单元。

在其中一个实施例中，每个所述桥接器用于各加速芯片中相同链路端口编号的互连，其中每个加速芯片中各个链路端口按序编号。

在其中一个实施例中，所述桥接器与每个设备的两个或两个以上端口相连。

在其中一个实施例中，所述分拆策略包括以下一种分拆方式：沿模型深度方向纵向拆分、沿模型深度方向横向拆分、沿模型深度方向纵向及横向拆分。

在其中一个实施例中，所述至少两个加速芯片包括第一主加速芯片和第一从加速芯片，其中所述第一主加速芯片和所述第一从加速芯片构成第一主从设备模式。