[发明专利]分集群加载模型的方法和装置

说明书

本发明公开了一种分集群加载模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对于每个集群，分别获取所述集群内各个设备的指标数据；根据所述集群内各个设备的指标数据确定所述集群的性能指标；根据各个集群的性能指标确定每个所述集群加载的模型列表，以调整每个所述集群所加载的模型。该实施方式不需要人工干预，能够根据集群的指标数据动态调整每个集群所加载的模型，且支持自定义指标，大大提高系统可用性、标准性和灵活性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分集群加载模型的方法和装置。

背景技术

在人工智能领域，通常会将模型文件加载到计算机本地内存，以实现快速预测模型结果。在Saas(Software-as-a-Service，软件即服务)平台解决方案中，单一系统需要为海量的用户提供服务，大多数场景下，每个用户均需要一个独立的业务模型为其提供模型预测服务。单台计算机的内存是有限的，无法支撑模型数量不断增长对单台计算机内存空间的消耗。常用的解决方案是创建用户时，参考一些固定的指标手动选择加载新模型的集群，并通过模型与集群的映射关系将流量路由至正确的集群。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、手动选择集群的方式会导致运营维护成本大幅增加，降低系统的可用性；

2、集群的流量和内存等指标是动态变化的，现有技术无法支持集群动态调整；

3、不同业务系统的集群选择算法以及算法输入参数均会有所差异，现有技术输入参数固定，缺乏灵活性和标准性。

发明内容

有鉴于此，本发明实施例提供一种分集群加载模型的方法和装置，不需要人工干预，能够根据集群的指标数据动态调整每个集群所加载的模型，且支持自定义指标，大大提高系统可用性、标准性和灵活性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分集群加载模型的方法，包括：

对于每个集群，分别获取所述集群内各个设备的指标数据；

根据所述集群内各个设备的指标数据确定所述集群的性能指标；

根据各个集群的性能指标确定每个所述集群加载的模型列表，以调整每个所述集群所加载的模型。

可选地，分别获取所述集群内各个设备的指标数据之后，还包括：

确定预设的缓存队列中是否存在与所述设备对应的消息队列；若存在，则将所述设备的指标数据保存至与所述消息队列中；否则，在所述缓存队列中创建与所述设备对应的消息队列，然后将所述设备的指标数据保存至与所述消息队列中；

根据所述集群内各个设备的指标数据确定所述集群的性能指标的步骤之前，还包括：从所述消息队列中获取所述设备的指标数据。

可选地，从所述消息队列中获取所述设备的指标数据的步骤之后，还包括：若获取成功，则更新所述消息队列的最后拉取时间；否则，判断确认当前时间与所述消息队列的最后拉取时间之间的时间差是否大于预设的时间阈值；若大于，则从所述缓存队列中删除所述消息队列，并删除模型与集群的映射关系中与所述设备对应的映射。

可选地，根据各个集群的性能指标确定每个所述集群加载的模型列表的步骤之后，还包括：

根据每个所述集群加载的模型列表更新模型与集群的映射关系，将更新后的所述映射关系推送至各个所述集群。

可选地，本发明实施例的方法还包括：当有新模型需要加载时，根据各个集群的性能指标确定用于加载所述新模型的集群，或者根据预设的集群选择算法确定用于加载所述新模型的集群。

根据本发明实施例的第二方面，提供一种分集群加载模型的装置，包括：