[发明专利]模型管理系统、方法、装置及设备

权利要求书

1.一种模型管理系统，其特征在于，包括：

服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

客户端，用于应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

2.一种模型管理系统，其特征在于，包括：

第一服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

第二服务端，用于存储所述多个机器学习模型的访问记录数据；

客户端，用于应用系统通过模型访问工具包，发送所述调用指令，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端。

3.根据权利要求2所述的方法，其特征在于，还包括：

第三服务端，用于存储第二服务端访问参数配置信息；

客户端，还用于应用系统通过模型访问工具包，从第三服务端获取所述配置信息，根据所述配置信息与第二服务端建立连接。

4.一种模型管理方法，其特征在于，包括：

应用系统通过模型访问工具包，调用部署在服务端的目标模型；

通过所述工具包，生成目标模型的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。

5.根据权利要求4所述的方法，其特征在于，所述将访问记录数据存储至服务端，包括：

通过第一线程，将访问记录数据写入缓存日志队列；

通过第二线程组，从缓存日志队列读取访问记录数据，并连接服务端执行写入操作。

6.根据权利要求4所述的方法，其特征在于，还包括：

接收服务端发送的模型访问异常信息；

展示所述异常信息。

7.根据权利要求6所述的方法，其特征在于，

所述异常信息包括：每秒请求数QPS异常信息，访问时延RT异常信息。

8.根据权利要求4所述的方法，其特征在于，还包括：

向服务端发送针对目标模型的访问记录查询请求；

展示服务端回送的目标模型的访问记录数据。

9.根据权利要求4所述的方法，其特征在于，

所述访问记录数据包括：访问时延；

所述访问时延包括：服务端访问时延和网络时延。

10.一种模型管理方法，其特征在于，包括：

向服务端发送针对目标模型的访问记录数据获取请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

展示服务端回送的符合访问权限的访问记录数据。

11.一种模型管理方法，其特征在于，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的开关项；

若所述开关项为是，则应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

12.一种模型管理方法，其特征在于，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的日志收集权限；

应用系统通过所述工具包，调用部署在服务端的目标模型；

通过所述工具包，生成符合所述日志收集权限的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。