[发明专利]AIStation推理平台的推理服务管理方法和装置

说明书

本发明公开了一种AIStation推理平台的推理服务管理方法和装置，该方法包括：根据数据库中的推理服务记录，检测服务器中是否存在与推理服务记录对应的推理服务；若不存在，则根据推理服务记录对相应的推理服务进行恢复；本发明中通过根据数据库中的推理服务记录对服务器中的推理服务进行检测，判断服务器中是否存在与该推理服务记录对应的推理服务，当不存在时，说明推理服务记录与真实的推理服务不一致，则可以根据该推理服务记录对相应的推理服务进行恢复，本发明能够在推理服务记录与真实的推理服务不一致时，自动根据推理服务记录对推理服务进行恢复，提高推理服务管理效率，更好地保障推理服务记录与推理服务的一致性。

技术领域

本发明实施例涉及计算机技术领域，特别是涉及一种AIStation推理平台的推理服务管理方法、装置、系统及计算机可读存储介质。

背景技术

AIStation推理平台支持多种推理服务的创建，包括多种类型，并且推理服务在创建、运行过程中，依赖于各种组件，而组件发生故障时，通常需要通过重新部署的方式来修复，重新部署组件会导致依赖于组件的推理服务被清除，此外，集群的操作、运维人员可能在服务器后台误操作，会导致推理服务被删除。

通常AIStation推理平台在推理服务创建过后，会在数据库中记录分配给推理服务的资源和推理服务参数，数据库中的推理服务记录和后端运行的推理服务存在一一对应关系。但是，由于组件发生故障或者用户在后端误操作而导致推理服务被清除时，数据库中的推理服务记录还会存在，而为了保持数据库中的推理服务记录和真实推理服务的一致性，现有技术中通过人工手动在服务器后台查看是否有推理服务被删除，且推理服务记录还保存在数据库中情况，如果有，则需要手动清空数据库中所有记录项，并删除所有的推理服务，不仅比较繁琐、耗费时间，而且一旦有不一致将所有记录项和所有推理服务删除，代价很大。

鉴于此，如何提供一种解决上述技术问题的AIStation推理平台的推理服务管理方法、装置、系统及计算机可读存储介质成为本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种AIStation推理平台的推理服务管理方法、装置、系统及计算机可读存储介质，在使用过程中能够提高推理服务管理效率，更好地保障推理服务记录与推理服务的一致性。

为解决上述技术问题，本发明实施例提供了一种AIStation推理平台的推理服务管理方法，包括：

根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务；若不存在，则根据所述推理服务记录对相应的推理服务进行恢复；其中：

根据所述推理服务记录获取对应的推理服务类型，并依据所述推理服务记录及与所述推理服务类型对应的恢复过程对所述推理服务进行恢复；

当所述推理服务类型为通用模型，则对应的恢复过程为：

解析所述推理服务记录得到对应的框架类型、模型地址及模型类名；解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；当存在所述批量处理模块记录时，根据所述批量处理模块、所述框架类型、所述模型地址及所述模型类名创建对应的推理模块，或当不存在所述批量处理模块记录时，根据所述框架类型、所述模型地址及所述模型类名创建对应的推理模块；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；

当所述推理服务类型为应用部署，则对应的恢复过程为：