[发明专利]一种容器集群中算法模型的预加载方法

权利要求书

1.一种容器集群中算法模型的预加载方法，其特征在于，包括：

获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

根据所述第二时间段内的算法模型预加载任务分布预加载算法模型；

其中，所述根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；

以及，

所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现；

所述算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，是指在任意一个子时间段内需要预加载的算法模型的数目不超过获取的实际算法模型加载速度下的最大可加载数目；

所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，是指按照原算法模型加载任务分布，算法模型在被加载后立即使用，算法模型的预加载到使用之间的时间间隔不超过所述空闲模型最长存活时间。

2.如权利要求1所述的方法，其特征在于，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型，包括：

根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；

获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括所述第二时间段内未处理的预加载任务分布和所述第二时间段之后的算法模型加载任务分布；

根据所述第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；

将所述第三向量左乘N*N维的预设矩阵，得到N维第四向量；

根据所述第四向量，确定所述第三时间段内各个时间单元的算法模型预加载任务分布；

根据所述第三时间段内的算法模型预加载任务分布预加载算法模型。

3.如权利要求1所述的方法，其特征在于，还包括：

根据算法模型预加载结果，调整所述预设矩阵。

4.如权利要求1所述的方法，其特征在于，所述预加载算法模型，包括：

判断当前是否有可用的服务实例，如果有，在所述可用的服务实例中预加载算法模型；否则，新建一个服务实例，在新建的服务实例中预加载算法模型。

5.如权利要求4所述的方法，其特征在于，还包括：

获取各个实例的负载信息；

当检测到第一服务实例的负载超过预设第一阈值时，启动一个新的第二服务实例；

将所述第一服务实例中的负载最高的算法模型迁移至所述第二服务实例。

6.如权利要求4所述的方法，其特征在于，还包括：

获取各个实例的模型的负载信息；

当检测到任一算法模型空闲的时间超过预设第二阈值时，释放所述任一算法模型。

7.如权利要求6所述的方法，其特征在于，还包括：

当检测到第三服务实例的全部模型被释放，或者所述第三服务实例未发出心跳信号的时间达到预设第三阈值时，删除所述第三服务实例。