[发明专利]推理服务平台的运行方法、装置、设备及存储介质

说明书

本公开提供了一种推理服务平台的运行方法、装置、设备及存储介质，涉及人工智能领域，尤其涉及人工智能模型的推理服务领域。具体实现方案为：确定出针对推理服务平台的待分配的推理任务；确定出每个推理服务模组的流量权重，推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；基于各个推理服务模组的流量权重，将待分配的推理任务中对应数量的推理任务分配给每个推理服务模组；利用推理服务模组执行推理任务。上述方法基于流量权重即可自动为每个推理服务模组分配对应数量的推理任务，大大地减轻了用户为推理服务模组因分配任务而增加的工作量，显著地提升了推理服务的工作效率。

技术领域

本公开涉及人工智能领域，尤其涉及人工智能模型的推理服务领域，具体涉及一种推理服务平台的运行方法、装置、设备及存储介质。

背景技术

随着人工智能技术在各行业的应用落地，复杂多样的业务应用场景对人工智能的推理服务提出了挑战，业务会要求人工智能模型的效果不断优化，因此生产环境的人工智能模型的版本迭代变更较为频繁。在相关技术中，同一人工智能模型的多个版本分别被应用到多个独立的推理服务模组中，用户(例如模型开发者)需要自行将多个推理任务分配给不同版本的推理服务模组，工作量较大且效率较低。

发明内容

本公开提供了一种推理服务平台的运行方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种推理服务平台的运行方法，包括：

确定出针对推理服务平台的待分配的推理任务，所述推理服务平台包括至少两个推理服务模组，各个所述推理服务模组的版本不同、且用于执行相同类型的推理服务；

确定出每个所述推理服务模组的流量权重，所述推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；

基于各个所述推理服务模组的流量权重，将所述待分配的推理任务中对应数量的推理任务分配给每个所述推理服务模组；

利用推理服务模组执行所述推理任务。

根据本公开的另一方面，提供了一种推理服务平台的运行装置，包括：

任务确定模块，用于确定出针对推理服务平台的待分配的推理任务，所述推理服务平台包括至少两个推理服务模组，各个所述推理服务模组的版本不同、且用于执行相同类型的推理服务；

权重确定模块，用于确定出每个所述推理服务模组的流量权重，所述推理服务模组的流量权重用于指示该推理服务模组需要被分配的推理任务数量在推理任务总量中的占比；

任务分配模块，用于基于各个所述推理服务模组的流量权重，将所述待分配的推理任务中对应数量的推理任务分配给每个所述推理服务模组；

任务执行模块，用于利用推理服务模组执行所述推理任务。

评价值提取模块，用于从资源生产方所生产的历史资源中，提取出多个预设的可评价事件中每个可评价事件的评价值，所述多个可评价事件至少包括基于历史资源的特征的可评价事件、基于历史资源的用户反馈的可评价事件；

目标评价值计算模块，用于基于所述多个预设的可评价事件中每个可评价事件的评价值，计算出所述历史资源的目标评价值；

资源质量确定模块，用于基于所述目标评价值确定所述历史资源的质量等级。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的推理服务平台的运行方法。