[发明专利]一种容器集群中算法模型的预加载方法

说明书

本发明实施例提供了一种容器集群中算法模型的预加载方法、装置及计算设备，实现了容器集群中算法模型的预加载，解决模型实时加载慢，以及短时间内大量模型同时加载造成的加载队列阻塞和模型加载失败的问题。方法包括：获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

技术领域

本发明涉及容器技术领域，尤其涉及一种容器集群中算法模型的预加载方法、装置及计算设备。

背景技术

人工智能的相关应用在提供服务时都需要加载相应的算法模型，在智能语音交互和智能客服文本交互的使用场景中，因为不同客户的业务内容不同，需要给不同的客户提供不同的算法模型。在拥有大量客户的情况下，加载算法模型会消耗巨大的系统资源，所以在实际使用中，算法模型被设计为按需加载，在客户需要使用时再通过基于容器技术的模型实例管理系统进行加载，若模型在一段时间内没有被使用，则模型实例管理系统会将模型卸载，以释放系统的资源。

现有的技术解决了大量的模型实例空闲时占用系统资源的问题，但是利用容器加载模型需要一定的时间，某些需要实时响应的人工智能系统会因此在模型第一次被调用时出现比较长的延迟，影响了用户的使用体验。另外一方面，多数人工智能系统的使用时间有着很大的一致性，例如智能外呼系统通常会在早上9点以及下午2点时集中开始任务，而客服系统在早晨上班时间也有着集中使用的特点，这种用户使用的特定导致了算法模型会在某一段时间内大量的加载，容易导致加载队列的阻塞，使模型加载时间更长，也增加了模型加载失败的概率。

发明内容

为此，本发明提供了一种容器集群中算法模型的预加载方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种容器集群中算法模型的预加载方法，包括：

获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

可选地，根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；

以及，

所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现。

可选地，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型，包括：

根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；