[发明专利]一种基于边缘推理集群的人工智能推理方法和系统

权利要求书

1.一种基于边缘推理集群的人工智能推理方法，其特征在于，包括执行以下步骤：

由设置于服务端的集群管理节点通过控制网络连接到分别设置于不同终端的多个边缘节点，以分别发送不同的集群控制指令；

由每个所述边缘节点通过数据网络分别连接到各自设置在每个所述边缘节点本地范围内的多个客户端；

由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端；

使所述多个客户端基于所述推理模型在本地执行人工智能推理任务，

其中所述集群管理节点和所述多个边缘节点基于Kubernetes而搭建为边缘推理集群；所述控制网络在所述边缘推理集群基于Kubernetes而为所述集群管理节点提供对所述多个边缘节点的控制；并且

其中由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端包括：基于所述集群控制指令确定分别要部署到每个所述客户端的相同或不同的一个或多个所述推理模型，并使用Kubernetes的节点选择器将相同或不同的一个或多个所述推理模型部署到相对应的每个所述客户端。

2.根据权利要求1所述的方法，其特征在于，由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端包括：基于所述集群控制指令确定要部署到连接到同一所述边缘节点的所有所述客户端的同一所述推理模型，并使用Kubernetes的节点标签和节点选择器将同一所述推理模型批量部署到同一所述边缘节点的所有所述客户端。

3.根据权利要求2所述的方法，其特征在于，还包括：使用Kubernetes的节点标签和节点选择器将同一所述推理模型灰度发布到同一所述边缘节点的所有所述客户端。

4.根据权利要求1所述的方法，其特征在于，所述控制网络配置为在所述服务端和不同所述终端建立跨网关的集群连接，以在第一网络延迟下执行服务部署或服务升级。

5.根据权利要求4所述的方法，其特征在于，所述数据网络配置为在不同所述终端建立不跨网关的本地连接，以在远小于所述第一网络延迟的第二网络延迟下执行支持实时响应的人工智能推理服务。

6.一种基于边缘推理集群的人工智能推理系统，其特征在于，包括：

处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行以下步骤：

由设置于服务端的集群管理节点通过控制网络连接到分别设置于不同终端的多个边缘节点，以分别发送不同的集群控制指令；

由每个所述边缘节点通过数据网络分别连接到各自设置在每个所述边缘节点本地范围内的多个客户端；

由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端；

使所述多个客户端基于所述推理模型在本地执行人工智能推理任务，

其中所述集群管理节点和所述多个边缘节点基于Kubernetes而搭建为边缘推理集群；所述控制网络在所述边缘推理集群基于Kubernetes而为所述集群管理节点提供对所述多个边缘节点的控制；并且

其中由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端的步骤包括：基于所述集群控制指令确定分别要部署到每个所述客户端的相同或不同的一个或多个所述推理模型，并使用Kubernetes的节点选择器将相同或不同的一个或多个所述推理模型部署到相对应的每个所述客户端。

7.根据权利要求6所述的系统，其特征在于，由每个所述边缘节点基于所述集群控制指令来将推理模型选择性地部署到所述多个客户端的步骤包括：基于所述集群控制指令确定要部署到连接到同一所述边缘节点的所有所述客户端的同一所述推理模型，并使用Kubernetes的节点标签和节点选择器将同一所述推理模型批量部署到同一所述边缘节点的所有所述客户端；

步骤还包括：还使用Kubernetes的节点标签和节点选择器将同一所述推理模型灰度发布到同一所述边缘节点的所有所述客户端。