[发明专利]AI训练推理服务器、系统和方法

权利要求书

1.一种AI训练推理服务器，其特征在于，包括主板、背板和至少一块AI推理刀片，其中：

所述主板主要由CPU组成，所述主板和所述背板连接，用于通过所述背板下发AI软件算法和数据；

所述背板设置有插槽；

所述AI推理刀片插接于所述插槽，所述AI推理刀片主要由至少一块第一可编程芯片组成，每一所述第一可编程芯片连接至少一块AI芯片；所述AI推理刀片用于接收所述AI软件算法和数据，并根据所述AI软件算法和数据得到计算结果，将所述计算结果通过背板发送给所述主板；

所述主板还用于通过所述背板接收所述计算结果，并根据所述计算结果得到推理结果。

2.如权利要求1所述的服务器，其特征在于，所述方法还包括：所述背板为CPCI-Express背板，其具有热拔插功能；所述CPU用于将所述主板配置为主设备，所述第一可编程芯片用于将所述AI推理刀片配置为从设备，所述CPCI-Express背板用于使所述主设备和所述从设备互相通信。

3.如权利要求2所述的服务器，其特征在于，所述服务器还包括：至少一块AI训练刀片，所述AI训练刀片插接于所述插槽，用于接收所述主板发送的所述AI软件算法和数据，根据所述AI软件算法和数据得到训练结果，并将所述训练结果通过所述背板传送给所述AI推理刀片。

4.如权利要求3所述的服务器，所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述第二可编程芯片用于在所述AI训练刀片得到所述训练结果时将所述AI训练刀片配置为主设备。

5.如权利要求4所述的服务器，其特征在于，所述主板的数量为至少2个，各所述主板之间通过所述CPCI-Express背板传输数据。

6.如权利要求1或2所述的服务器，其特征在于，所述服务器还包括电源刀片和冗余电源刀片，所述电源刀片和冗余电源刀片插接于所述插槽。

7.如权利要求5所述的服务器，其特征在于，所述服务器还包括拓扑管理模块，所述拓扑管理模块插接于所述插槽，用于将所述主板、AI推理刀片和AI训练刀片配置为主设备或从设备，且用于配置所述主板、AI推理刀片和AI训练刀片之间的拓扑关系。

8.一种AI训练推理服系统，其特征在于，包括：网络交换机、通用服务器和至少一个AI推理服务器；所述网络交换机分别与所述通用服务器和AI推理服务器互相通信连接，所述通用服务器用于通过所述网络交换机下发AI软件算法和数据给所述AI推理服务器，所述AI推理服务器用于通过所述AI软件算法和数据得到计算结果，并通过所述网络交换机将所述计算结果返回给所述通用服务器，所述通用服务器还用于根据所述计算结果得到推理结果。

9.如权利要求8所述的系统，其特征在于，所述系统还包括至少一个AI训练服务器，所述AI训练服务器与所述网络交换机通信连接，用于通过所述网络交换机接收所述通用服务器发送的所述AI软件算法和数据，根据所述AI软件算法和数据得到训练结果，并将所述训练结果通过所述网络交换机传送给所述AI推理服务器。

10.如权利要求8所述的系统，其特征在于，所述系统还包括超级计算机，所述超级计算机与所述网络交换机通信连接，用于通过所述网络交换机接收所述通用服务器发送的所述AI软件算法和数据，根据所述AI软件算法和数据得到训练结果，并将所述训练结果通过所述网络交换机传送给所述AI推理服务器。

11.一种AI训练推理方法，应用于如权利要求1-7任一项所述的AI训练推理服务器，其特征在于，所述方法包括：

主板通过背板下发AI软件算法和数据；

AI推理刀片通过背板接收AI软件算法和数据，并根据所述AI软件算法和数据得到计算结果；

主板通过背板接收所述计算结果，并根据所述计算结果得到推理结果。