[发明专利]AI芯片高速传输架构、AI运算板卡及服务器

说明书

本发明实施例公开了一种AI芯片高速传输架构、AI运算板卡及服务器。该AI芯片高速传输架构利用板间高速连接器和高速差分串行SERDES链路实现了多个AI芯片的双向高速串行互连。本发明实施例实现了AI运算板卡的硬件算力可灵活配置，极大地提升了AI运算板卡的数据传输可靠性和运算处理性能。

技术领域

本发明涉及芯片数据传输技术，特别是涉及一种AI芯片高速传输架构、AI运算板卡及服务器。

背景技术

随着互联网和信息行业的快速发展，各种声音、图像、视频数据均呈井喷式的发展，大数据处理已经逐步取代传统的人工数据处理。通过对大数据的分析和处理，可以对安全管理、身体健康、乃至发现创新等等各方面都带来前所未有的突破。大数据分析和处理所带来的需求引发了人工智能AI芯片的快速发展，而人工智能技术的应用也使得大数据分析处理能力得到再一次飞跃。

深度学习技术引发了人工智能应用的高速发展，引领人类由信息时代进入智能时代。深度学习本质是一种机器学习技术，需要强大的硬件计算能力，来完成大规模数据的复杂数据处理和运算。对于如此庞大的数据处理和运算，现有的人工智能解决方案中，采用专用的AI芯片执行深度学习运算，但是即使单个超高性能的AI芯片，其处理能力也远远达不到运算需求。为了满足大规模数据的处理需求，技术人员开始使用多个AI芯片组成计算集群来构建AI运算板卡，从而构成深度学习服务器系统，极大地提升了深度学习的运算处理能力。

然而，对于多个AI芯片互连构成的AI运算板卡而言，超高的数据吞吐量对于AI芯片的数据传输带宽带来了重大的挑战，如何提高芯片与芯片之间的传输带宽，同时又保证数据传输的精确可靠性，成为了实现AI芯片互连通信的关键问题。

发明内容

为了解决上述问题，根据本发明的一个方面，提出一种AI芯片高速传输架构，所述AI芯片高速传输架构包括多个AI芯片和多个高速连接器，所述AI芯片包括两个SERDES接口，相邻的两个AI芯片通过SERDES接口耦接高速连接器实现互连，构成双向串行互连架构；所述AI芯片的两个SERDES接口中的一个用于与上一级AI芯片进行数据通信，另一个用于与下一级AI芯片进行数据通信。

在一些实施方式中，所述高速连接器是可插拨的高速信号连接器。

在一些实施方式中，所述高速连接器包括EdgeLine CoEdge连接器。

在一些实施方式中，所述AI芯片包括ASIC处理芯片。

在一些实施方式中，所述AI芯片包括张量处理单元TPU。

在一些实施方式中，所述SERDES接口包括上行方向和下行方向的传输通道。

在一些实施方式中，所述上行方向和下行方向的传输通道分别包括20路传输通道。

在一些实施方式中，所述传输通道的单通道传输速率为10Gbps。

根据本发明的另一个方面，提出一种AI运算板卡，所述AI运算板卡包括PCIE接口、接口桥接电路以及前述任一实施例所述的AI芯片高速传输架构；所述PCIE接口用于连接主机PCIE插槽，所述接口桥接电路一端耦接所述PCIE接口，另一端通过高速连接器连接至所述AI芯片高速传输架构，用于将PCIE接口转换为与所述AI芯片高速传输架构适配的SERDES接口；还包括分别对所述AI芯片高速传输架构中多个AI芯片进行供电的多个电源管理模块。

在一些实施方式中，所述PCIE接口用于将主机CPU发送的待运算数据转发给所述接口桥接电路。

在一些实施方式中，所述接口桥接电路用于将主机发送的待运算数据经由SERDES接口发送给所述AI芯片高速传输架构中多个AI芯片进行运算处理。

在一些实施方式中，所述接口桥接电路还用于接收所述多个AI芯片返回的运算结果数据，并经由PCIE接口传输给主机CPU。