[发明专利]用于确定资源的方法和装置

说明书

本申请公开了用于确定资源的方法和装置，具体实现方案为：响应于接收到业务中某个资源的调度请求，获取业务的第一容器集合和第二容器集合；基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一资源量和第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量；响应于资源总量大于阈值，基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表；基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量。该方案通过周期性地对调度资源进行确定，找到最佳的资源分配给容器，提升了主机的资源利用率。

技术领域

本申请的实施例涉及计算机技术领域，具体涉及数据处理技术领域，尤其涉及用于确定资源的方法和装置。

背景技术

Apache Hadoop YARN(Yet Another Resource Negoitator)是当前大数据领域主流的集群管理与调度系统，也称其为数据中心操作系统，主要由资源管理ResourceManager、节点管理NodeManager以及应用程序主管ApplicationMaster等组件构成。其中NodeManager主要负责计算节点的资源汇报以及容器管理，容器负责执行ApplicationMaster分配的任务。NodeManager在启动容器时会根据容器所申请的资源量计算出对应的时间片，并通过cgroups技术实现容器的调度。然而现有Apache Hadoop YARN系统无法实现同一主机上容器资源的动态调度，导致主机资源利用率无法得到有效提升。

发明内容

本申请提供了一种用于确定资源的方法、装置、设备以及存储介质。

根据本申请的第一方面，提供了一种用于确定资源的方法，该方法包括：响应于接收到业务中某个资源的调度请求，获取业务的第一容器集合和第二容器集合，其中，第一容器集合用于表征业务中处于运行状态的各个容器的集合，第二容器集合用于表征业务中作为待启动的各个容器的集合；基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，第一因子用于表征资源的调整范围，第一资源量和第二资源量基于容器的资源的使用量和相应容器对应的第一因子的第一取值计算得到；响应于资源总量大于阈值，基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表；基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量，其中，第三资源量基于容器的资源的使用量和相应容器对应的第一因子的第二取值计算得到，目标资源总量用于表征容器列表中各个容器的资源的待释放的资源量的总和。

在一些实施例中，基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，包括：基于第一容器集合、第二容器集合和各个容器对应的第一因子的最大值，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，各个容器对应的第一因子基于业务的优先级和各个容器对应的作业的优先级而动态调整。

在一些实施例中，基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量，包括：基于容器列表和选取后的各个容器的第一因子的最小值，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量。

在一些实施例中，各个容器的第一因子利用深度学习网络预先训练得到。

在一些实施例中，阈值基于超卖理论预先设定。

在一些实施例中，方法还包括：响应于资源总量不大于阈值，基于第二资源量和阈值，对第二容器集合中的各个容器的资源值进行调整。