[发明专利]脚本与模型分离提升GPU计算吞吐的推理引擎设计方法

权利要求书

1.脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，该方法包括以下步骤：

对CPU处理和GPU处理的逻辑进行模块拆分与抽象；

对CPU处理和GPU处理之间传递的数据进行序列化；

容器化进程通信；

模块容器化多实例部署；

反向代理和负载均衡；

利用弹性伸缩，实时调节实例数量。

2.根据权利要求1所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述对CPU处理和GPU处理的逻辑进行模块拆分与抽象包括以下步骤：

针对所述CPU处理和GPU处理的逻辑，按照拆分原则进行模块拆分与抽象，将相耦合的两者分离、解耦；

对CPU处理进行第二次抽象；

对GPU处理进行第二次抽象。

3.根据权利要求2所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述拆分原则为模块化、原子、复用原则。

4.根据权利要求1所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述容器化进程通信的方法为使用远程过程调用来传递序列化后的数据，实现不同进程之间的数据通信。

5.根据权利要求1所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述模块容器化多实例部署包括以下步骤：

采用容器平台，基于容器化多副本部署，将脚本与模型分开部署；

根据CPU与GPU脚本逻辑相互调用模块之间的算力差异比例，部署对应比例的实例数量；

控制器自动维护对应的实例。

6.根据权利要求1所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述反向代理和负载均衡包括以下步骤：

对同一模块的多实例进行反向代理，分发请求；

反向代理服务器根据实例节点的性能，使用不同的负载均衡策略，动态分配请求，达到服务节点的最佳性能。

7.根据权利要求1所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述利用弹性伸缩，实时调节实例数量包括以下步骤：

利用容器平台的弹性伸缩功能，对实例的指标进行监控；

设定具体的对比阈值、抖动时长；

实时的调整副本数，避免实例不足导致的阻塞与空闲实例导致的资源浪费。

8.根据权利要求7所述的脚本与模型分离提升GPU计算吞吐的推理引擎设计方法，其特征在于，所述实例的指标包括调用数量、CPU使用率及内存使用量。