[发明专利]基于远程推理的分布式人工智能实践平台

权利要求书

1.一种基于远程推理的分布式人工智能实践平台，其特征在于，包括N个应用端，N个远程代理模块和1个模型端，其中：

应用端布置在CPU通用计算设备上，用于运行人工智能模型的预处理组件和后处理组件；应用端接收用户配置的人工智能模型信息和人工智能模型输入数据，由人工智能模型的预理组件对输入数据进行预处理，根据需要选择编码器对输入数据进行编码，将编码后的输入数据连同人工智能模型信息一起生成推理请求，将推理请求通过对应的远程代理模块发送至模型端；应用端接收从模型端返回的编码后的推理结果，进行解码后由人工智能模型的后处理组件对解码后的推理结果进行后处理，将得到的推理结果对用户进行输出；

远程代理模块用于实现对应的应用端和模型端之间的通信，完成编码后的输入数据和编码后的推理结果的传输；

模型端布置在神经网络计算设备上，用于运行人工智能模型的推理组件，完成人工智能模型的推理；模型端从应用端接收推理请求，提取出编码后的输入数据和人工智能模型信息，根据人工智能模型信息确定所需调用的人工智能模型的推理组件，将编码后的输入数据进行解码，根据所调用人工智能模型推理组件规定的输入格式对解码后的输入数据进行预处理，然后输入所调用的推理组件进行推理得到推理结果，将推理结果按照所调用人工智能模型推理组件规定的输出格式进行后处理，将得到的推理结果进行编码后通过对应的远程代理模块返回至推理请求对应的应用端。

2.根据权利要求1所述的分布式人工智能实践平台，其特征在于，所述人工智能模型中的预处理组件和后处理组件是通过继承与重写通用推理模型Inference Model这一父类所构建的模型子类。

3.根据权利要求1所述的分布式人工智能实践平台，其特征在于，所述人工智能模型中的推理组件是通过继承与重写通用推理模型GPU/NPU Model这一父类所构建的模型子类。

4.一种基于远程推理的分布式人工智能实践平台，其特征在于，包括N个应用端，N个远程代理模块，1个集群服务器和M个模型端，其中：

应用端布置在CPU通用计算设备上，用于运行人工智能模型的预处理组件和后处理组件；应用端接收用户配置的人工智能模型信息和人工智能模型输入数据，由人工智能模型的预处理组件对输入数据进行预处理，根据需要选择编码器对输入数据进行编码，将编码后的输入数据连同人工智能模型信息一起生成推理请求，将推理请求通过对应的远程代理模块发送至模型端；应用端接收从模型端返回的编码后的推理结果，进行解码后由人工智能模型的后处理组件对解码后的推理结果进行后处理，将得到的推理结果对用户进行输出；

远程代理模块用于实现对应的应用端和集群服务器之间的通信，完成编码后的输入数据和编码后的推理结果的传输；

集群服务器用于监控M个模型端的运行情况，根据应用端上传的推理请求中的人工智能模型信息，将推理请求分配至可用的模型端，接收从模型端返回的编码后的推理结果并通过远程代理模块传输至推理请求对应的应用端；

模型端布置在神经网络计算设备上，用于运行人工智能模型的推理组件，完成人工智能模型的推理；模型端从集群服务器接收推理请求，提取出编码后的输入数据和人工智能模型信息，根据人工智能模型信息确定所需调用的人工智能模型的推理组件，将编码后的输入数据进行解码，根据所调用人工智能模型推理组件规定的输入格式对解码后的输入数据进行预处理，然后输入所调用的人工智能模型推理组件进行推理得到推理结果，将推理结果按照所调用人工智能模型推理组件规定的输出格式进行后处理，将得到的推理结果进行编码后返回至集群服务器。

5.根据权利要求4所述的分布式人工智能实践平台，其特征在于，所述人工智能模型中的预处理组件和后处理组件是通过继承与重写通用推理模型Inference Model这一父类所构建的模型子类。

6.根据权利要求4所述的分布式人工智能实践平台，其特征在于，所述集群服务器采用Zmq技术构建，通过broker代理机制实现。