[发明专利]云平台系统、管理方法、设备及存储介质

说明书

本发明提供了一种云平台系统、管理方法、设备及存储介质，该系统用于采用节点管理器执行数据处理作业，所述节点管理器包括第一节点管理器和第二节点管理器；该系统包括至少一个第一子平台和至少一个第二子平台，所述第一子平台包括资源管理器和多个所述第一节点管理器；所述第二子平台包括容器模块和多个所述第二节点管理器；所述资源管理器用于接收数据处理作业请求，所述数据处理作业请求包括作业的需求资源量；所述资源管理器用于根据所述需求资源量将所述数据处理作业调度至各个所述节点管理器；所述节点管理器用于执行接收到的所述数据处理作业。本发明系统充分利用云平台的剩余资源，优化了资源利用的情况，提升资源利用率，降低成本。

技术领域

本发明涉及云计算和数据领域，具体地说，涉及一种利用剩余资源完成数据处理作业的云平台系统、管理方法、设备及存储介质。

背景技术

在目前云计算的发展趋势之下，容器云平台脱颖而出，以其在资源使用角度快速灵活的特性，赢得了用户的信任，成为了更多人的选择，但是部署的服务并没有完全利用他们所申请的资源，造成了不少的资源剩余。同时随着业务规模的增大，数据分析挖掘创造的价值有目共睹，而且数据处理作业又是一种消耗计算资源的场景。数据计算中，计算资源的成本已经成为了负担。如何利用剩余资源为数据处理作业提供条件，既能充分保证服务的需求，也能满足数据的计算，成为了一个探索的方向。

在云平台上，所有拥有的可分配的计算资源被抽象成了可分配资源量(Allocatable)，服务对资源的需求被抽象成了需求资源量(Request)，每当新建服务时，可分配资源量会进行更新为减掉新建服务所需要的需求资源量，即可分配资源量会随着服务变化而变化。但是，给服务分配了对应的需求资源量之后，服务在实际使用的情况上来看，并不会全部用完或者占有，尤其是在CPU的使用上，实际用率相对低，即实际使用资源量小于需求资源量。将分配的需求资源量与实际使用资源量的差值定义为可用资源量(Available)，可利用可用资源量来描述实际资源的剩余情况。实际上，当一个宿主机上可分配资源量已经所剩无几时，可用资源量还会有一定的剩余。同样在云平台上，可分别采用需求资源量和限定资源量(Limit)来描述一个服务对资源的需求以及限制，限定资源量就是设定的一个服务使用资源的上限，一个服务所需要的需求资源量不能超过限定资源量。

云平台上的各个服务可根据其对CPU资源的使用情况进行划分，可简单划分为计算密集型和I/O密集型，在实际的场景下，一个云平台包括若干个子平台，其中，一部分子平台用于计算密集型服务，其余大部分子平台用于I/O密集型服务。对于用于计算密集型服务的子平台来说，由于其CPU大部分时间用来计算或逻辑判断等，因此，CPU的可用资源量几乎为零；而用于I/O密集型服务的子平台，由于其CPU大部分的状况是在等I/O(硬盘/内存)的读/写，因此，CPU的可用资源量相对就比较充裕，如充分利用用于I/O密集型服务的子平台的这部分可用资源量完成计算密集型子平台的数据处理作业，整个云平台资源利用率将大大得到提升。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供了一种云平台系统、管理方法、设备及存储介质，该系统通过将节点管理器设置于容器，完成数据处理作业在容器中完成，本发明充分利用云平台的剩余资源，优化了资源利用的情况，提升资源利用率，降低成本。

本发明的实施例提供了一种云平台设备，用于采用节点管理器执行数据处理作业，所述节点管理器包括第一节点管理器和第二节点管理器；

所述系统包括至少一个第一子平台和至少一个第二子平台，其中：

所述第一子平台包括资源管理器和多个所述第一节点管理器；

所述第二子平台包括容器模块和多个所述第二节点管理器，所述容器模块用于创建容器并加载所述第一节点管理器的镜像文件，以配置形成所述第二节点管理器；