[发明专利]一种推理服务网络化的方法及装置

权利要求书

1.一种人工智能AI推理系统，其特征在于，所述AI推理系统包括计算机装置和至少两个推理装置，所述计算机装置通过以太网络与所述至少两个推理装置连接，其中，

所述计算机装置用于：接收客户端发送的推理任务；

通过所述以太网络向所述至少两个推理装置中的第一推理装置发送所述推理任务，所述推理任务携带待处理数据；

所述第一推理装置用于：接收所述推理任务，执行所述推理任务得到所述推理任务的结果；并且将所述推理任务的结果通过所述以太网络发送给计算机装置；

其中，所述第一推理装置为印刷电路板PCB。

2.根据权利要求1所述的AI推理系统，其特征在于，所述第一推理装置包括：

网络接口卡，用于：接收所述推理任务，并将所述待处理数据发送到所述第一存储装置的存储器中；

处理单元，用于：读取所述存储器中的待处理数据；

处理所述待处理数据，得到所述推理任务的结果，将所述推理任务的结果发送给所述网络接口卡；

所述网络接口卡还用于：将所述推理任务的结果通过以太网络发送给所述计算机装置。

3.根据权利要求1或2所述的AI推理系统，其特征在于，

所述计算机装置用于：通过预设的网络协议向所述第一推理装置发送推理任务，其中，所述网络协议包括传输控制协议TCP、远程直接数据存取RDMA或无限带宽IB。

4.根据权利要求1-3任一项所述的AI推理系统，其特征在于，

所述计算机装置还用于：确定所述第一推理装置中的处理器的类型；

根据所述第一推理装置中的处理器的类型对所述推理任务中的指令进行转换；

将转换后的所述推理任务发送给所述第一推理装置。

5.根据权利要求1-4任一项所述的AI推理系统，其特征在于，

所述第一推理装置还用于：

监控所述第一推理装置的负载状况；

向所述计算机装置发送所述第一推理装置的负载状况；

所述计算机装置还用于：

根据所述第一推理装置的负载状况，确定所述第一推理模块用于处理所述推理任务。

6.根据权利要求1-5任一项所述的AI推理系统，其特征在于，

所述计算机装置还用于：在接收客户端发送的推理任务之后，为所述推理任务创建第一队列和第二队列，其中，所述第一队列用于存储所述待处理数据，所述第二队列用于存储所述推理任务对应的处理后的数据。

7.一种推理装置，其特征在于，所述推理装置是印刷电路板PCB，所述推理装置通过以太网络与计算机装置连接，所述推理装置包括：

网络接口卡，用于：接收计算机装置通过以太网络发送的推理任务，所述推理任务携带待处理数据；

将所述待处理数据发送到所述推理装置的存储器中；

处理单元，用于：读取所述存储器中的待处理数据；

处理所述待推理数据，得到所述推理任务的结果；

将所述推理任务的结果发送给所述网络接口卡；

所述网络接口卡还用于，将所述推理任务的结果通过以太网络发送给所述计算机装置。

8.根据权利要求7所述的推理装置，其特征在于，

所述处理单元还用于：

监控所述推理装置的负载情况；

将所述推理装置的负载情况发送给所述网络接口卡；

所述网络接口卡还用于：

将所述推理装置的负载状况发送给所述计算机装置。

9.根据权利要求7或8所述的推理装置，其特征在于，所述推理装置还包括：

总线接口，用于将所述推理装置与机框相连，其中，所述推理装置通过所述机框获取电能。