[发明专利]推理服务平台的运行方法、装置、设备及存储介质

权利要求书

1.一种推理服务平台的运行方法，包括：

确定出针对推理服务平台的待分配的推理任务，所述推理服务平台包括至少两个推理服务模组，各个所述推理服务模组的版本不同、且用于执行相同类型的推理服务，所述推理服务模组包括多个推理服务模块，所述多个推理服务模块中不同的推理服务模块分别用于执行所述推理服务中不同的子任务；

确定所述推理服务平台对应的服务场景，所述服务场景的类型包括推理服务模组的效果验证场景和版本更新场景；

根据所述服务场景的类型，确定出每个版本所述推理服务模组的流量权重，其中，同一版本的所述推理服务模组针对不同类型的服务场景具有不同的流量权重，所述推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；

基于各个所述推理服务模组的流量权重，将所述待分配的推理任务中对应数量的推理任务分配给每个所述推理服务模组；

针对所述多个推理服务模块中的每个推理服务模块，基于该推理服务模块接收所述推理服务中对应的子任务的待处理数据，其中，所述待处理数据是与该推理服务模块相邻的前一个推理服务模块所生成的处理结果、或者所述推理服务中第一个子任务的原始数据；

基于该推理服务模块计算所述待处理数据对应的处理结果，并从该推理服务模块中确定出与该推理服务模块相邻的下一个推理服务模的服务地址，将该处理结果通过所述服务地址发送给所述下一个推理服务模块，其中，所述多个推理服务模块中的每个推理服务模块的服务地址已预先被存储到其他的推理服务模块中；

在最后一个子任务的推理服务模块计算得到最后一个子任务的待处理数据对应的最终处理结果之后，将所述最终处理结果发送至用于执行第一个子任务的推理服务模块，由所述用于执行第一个子任务的推理服务模将所述最终处理结果向外输出。

2.根据权利要求1所述的方法，其中，所述确定出针对推理服务平台的待分配的推理任务，包括：

在所述推理服务平台的任务队列中的任务数量达到预设数量时，将所述任务队列中的推理任务确定为待分配的推理任务；

或者，每经过一个预设时间周期，将所述推理服务平台的任务队列在所述预设时间周期存储的推理任务确定为待分配的推理任务。

3.根据权利要求1所述的方法，在所述确定出每个所述推理服务模组的流量权重之前，还包括：

响应于针对每个所述推理服务模组的权重配置操作，配置每个所述推理服务模组的流量权重；

将每个所述推理服务模组的标识信息和对应的流量权重关联记录。

4.根据权利要求1所述的方法，每个所述推理服务模块具有第一标识，所述第一标识用于指示对应所述推理服务模块的编排顺序；

每个所述推理服务模块的服务地址是基于所述推理服务模块对应的第一标识生成的。