[发明专利]一种分布式深度学习模型平台部署及使用方法

权利要求书

1.一种分布式深度学习模型平台部署及使用方法，其特征在于，包括如下步骤：

S1.在分布式系统部署WEB后端FastApi模块、深度学习模型推理模块、消息队列模块及数据库模块；

S2.WEB后端FastApi模块接收并处理客户端发送的数据请求，再将处理后数据请求发送到消息队列模块；

S3.消息队列模块将数据请求分发到深度学习模型推理模块；

S4.深度学习模型推理模块加载并运行模型，对数据请求进行推理，生成推理结果，并将推理结果存储到数据库模块；

S5.WEB后端FastApi模块从数据库模块查询推理结果，并向客户端返回。

2.如权利要求1所述的分布式深度学习模型平台部署及使用方法，其特征在于，步骤S1具体步骤如下：

S11.在分布式系统设置中间节点、存储节点和若干计算节点；

S12.在各计算节点部署若干WEB后端FastApi模块及若干深度学习模型推理模块；

S13.在中间节点部署消息队列模块；

S14.在存储节点部署数据库模块。

3.如权利要求1或2所述的分布式深度学习模型平台部署及使用方法，其特征在于，分布式系统中通过Gunicorn工具部署WEB后端FastApi模块。

4.如权利要求2所述的分布式深度学习模型平台部署及使用方法，其特征在于，在分布式系统还设置负载均衡模块；

步骤S2具体步骤如下：

S21.负载均衡模块接收到客户端发送的数据请求后，根据各计算节点负载运行情况选择一个空闲计算节点，并向该空闲计算节点的WEB后端FastApi模块发送数据请求；

S22.对应WEB后端FastApi模块接收到数据请求后，生成数据标记,并向客户端返回数据标记，同时将数据请求及数据标记发送到消息队列模块。

5.如权利要求4所述的分布式深度学习模型平台部署及使用方法，其特征在于，分布式系统中设置Nginx负载均衡模块。

6.如权利要求1所述的分布式深度学习模型平台部署及使用方法，其特征在于，步骤S3具体步骤如下：

S31.消息队列模块将接收到数据请求及其数据标记按照时间顺序生成队列；

S32.消息队列模块判断各深度学习模型推理模块是否有空闲；

若否，消息队列等待设定时间段后，返回步骤S32；

若是，进入步骤S33；

S33.消息队列模块选定一个空闲深度学习模型推理模块，与其建立连接，并向其发送数据请求及其数据标记。

7.如权利要求1或6所述的分布式深度学习模型平台部署及使用方法，其特征在于，消息队列模块采用rabbitmq消息队列。

8.如权利要求1所述的分布式深度学习模型平台部署及使用方法，其特征在于，步骤S4具体步骤如下：

S41.深度学习模型推理模块与消息队列模块建立连接后，一次从消息队列接收若干条数据请求及对应数据标记；

S42.深度学习模型推理模块并行处理各数据请求，分别生成推理结果；

S43.深度学习模型推理模块将各推理结果及对应数据标记存储到数据库模块。

9.如权利要求8所述的分布式深度学习模型平台部署及使用方法，其特征在于，数据库模块采用mysql数据库；

步骤S43中，数据库模块以数据标记为索引存储推理结果。

10.如权利要求4所述的分布式深度学习模型平台部署及使用方法，其特征在于，步骤S22中，WEB后端FastApi模块接收到数据请求后，生成数据标记，并向客户端返回；

客户端接收到返回的数据标记后，生成定时任务，每隔设定时间段向WEB后端FastApi模块请求推理结果；

步骤S5具体步骤如下：

S51.WEB后端FastApi模块接收到客户端的推理结果请求后，根据数据标记向数据库模块查询；

若客户端不存在该数据标记，进入步骤S52；

若客户端存在该数据标记，进入步骤S53；

S52.WEB后端FastApi模块向客户端返回推理未完成，客户端等待下次定时任务；

S53.WEB后端FastApi模块向客户端返回推理结果，客户端删除定时任务。