[发明专利]推理系统、推理方法、电子设备及计算机存储介质

权利要求书

1.一种推理系统，其特征在于，包括相互连接的第一计算设备和第二计算设备，其中，所述第一计算设备中设置有推理客户端，所述第二计算设备中设置有推理加速资源以及推理服务端；

其中：

所述推理客户端用于获取进行推理的计算模型的模型信息和待推理数据，并分别将所述模型信息和所述待推理数据发送至所述第二计算设备中的推理服务端；

所述推理服务端用于通过推理加速资源载入并调用所述模型信息指示的计算模型，通过所述计算模型对所述待推理数据进行推理处理并向所述推理客户端反馈所述推理处理的结果。

2.根据权利要求1所述的推理系统，其特征在于，所述推理客户端还用于在确定所述第二计算设备中不存在所述计算模型时，将所述计算模型发送至所述推理服务端。

3.根据权利要求2所述的推理系统，其特征在于，所述计算模型的模型信息为所述计算模型的标识信息或校验信息；

所述推理服务端还用于通过所述标识信息或所述校验信息，确定所述第二计算设备中是否存在所述计算模型，并将确定结果返回给所述推理客户端。

4.根据权利要求1所述的推理系统，其特征在于，

所述推理客户端还用于获取请求所述计算模型对所述待推理数据进行推理处理的推理请求，并对所述推理请求进行语义分析，根据语义分析结果确定待调用的所述计算模型中的处理函数，将所述处理函数的信息发送给所述推理服务端；

所述推理服务端在所述通过所述计算模型对所述待推理数据进行推理处理时，通过调用载入的所述计算模型中所述处理函数的信息指示的处理函数，对所述待推理数据进行推理处理。

5.根据权利要求4所述的推理系统，其特征在于，所述处理函数的信息为所述处理函数的AP I接口信息。

6.根据权利要求1所述的推理系统，其特征在于，所述第二计算设备中设置有一种或多种类型的推理加速资源；

当所述推理加速资源包括多种类型时，不同类型的推理加速资源具有不同的使用优先级；

所述推理服务端根据预设的负载均衡规则和多种类型的所述推理加速资源的优先级，使用推理加速资源。

7.根据权利要求1-6任一项所述的推理系统，其特征在于，所述第一计算设备和所述第二计算设备通过弹性网络相互连接。

8.根据权利要求1-6任一项所述的推理系统，其特征在于，所述推理客户端为嵌入所述第一计算设备中的深度学习框架内部的组件，或者，所述推理客户端为可被所述深度学习框架调用的可调用文件。

9.一种推理方法，其特征在于，所述方法包括：

获取进行推理的计算模型的模型信息，并将所述模型信息发送至目标计算设备，以指示所述目标计算设备使用所述目标计算设备中设置的推理加速资源载入所述模型信息指示的计算模型；

获取待推理数据，并将所述待推理数据发送至所述目标计算设备，以指示所述目标计算设备使用推理加速资源调用载入的所述计算模型，通过所述计算模型对所述待推理数据进行推理处理；

接收所述目标计算设备反馈的所述推理处理的结果。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

若确定所述目标计算设备中不存在所述计算模型时，则将所述计算模型发送至所述目标计算设备。

11.根据权利要求10所述的方法，其特征在于，所述计算模型的模型信息为所述计算模型的标识信息或校验信息；

在所述若确定所述目标计算设备中不存在所述计算模型时，则将所述计算模型发送至所述目标计算设备之前，所述方法还包括：通过所述标识信息或所述校验信息，确定所述目标计算设备中是否存在所述计算模型。