[发明专利]用于大数据平台的离线集群管理方法及装置

说明书

本公开实施例公开了一种用于大数据平台的离线集群管理方法和装置，包括首先基于预设的容器化技术，将大数据平台中离线集群服务的组件容器化，得到与组件相对应的容器；其次，将容器存储至预设的集群中，得到容器集群；最后响应于接收到对大数据平台的离线集群进行管理的请求，对容器集群中的容器进行调度。通过对容器调度的方式实现对大数据平台离线集群的管理，提高了管理大数据平台离线集群的管理效率。

技术领域

本公开涉及大数据平台数据处理技术领域，具体涉及到一种用于大数据平台的离线集群管理方法及装置。

背景技术

容器技术，有效的将单个操作系统的资源划分到孤立的组中，以便更好的在孤立的组之间平衡有冲突的资源使用需求。

大数据平台离线集群的建设，主要的方式是多台物理机按照Hadoop的对应的角色(Master，Worker)，申请众多物理服务器节点，然后按照对应的角色，分别安装Master服务(ResourceManager)，Worker服务(NodeManager)，从而最终完成大数据平台的离线集群搭建。

现有技术中，对大数据平台离线集群的管理通常采用的方式是，对集群中每个节点对应的物理机进行管理，管理效率低。

发明内容

本公开的主要目的在于提供一种用于大数据平台的离线集群管理方法，以解决现有技术中，对大数据平台离线集群的管理通常采用的方式是，对集群中每个节点对应的物理机进行管理，管理效率低问题。

为了实现上述目的，根据本公开的第一方面，提供了一种用于大数据平台的离线集群管理方法，包括：基于预设的容器化技术，将大数据平台中离线集群服务的组件容器化，得到与组件相对应的容器；将所述容器存储至预设的集群中，得到容器集群；响应于接收到对所述大数据平台的离线集群进行管理的请求，对容器集群中的容器进行调度。

可选地，响应于接收到对所述大数据平台的离线集群进行管理的请求，对容器集群中容器进行调度包括：响应于接收到对指定的大数据平台的离线集群的服务进行扩展的请求，利用预设的调度方法，将所需扩展的服务对应的容器分配至指定的大数据平台的离线集群；和/或，响应于接收到对指定的大数据平台的离线集群的大小进行调整的请求，将容器集群中的容器调度至离线集群中指定的节点中。

可选地，在基于预设的容器化技术，将大数据平台中离线集群服务的组件容器化，得到与组件相对应的容器之前，所述方法还包括：将大数据平台中离线集群服务的组件和大数据平台中离线集群服务的配置文件存储至公共盘中；将大数据平台离线集群中的节点与所述公共盘进行关联。

可选地，将大数据平台离线集群中的节点与所述公共盘进行关联包括：将大数据平台中离线集群中的节点与所述公共盘中大数据平台中离线集群服务的组件进行挂载；将大数据平台中离线集群中的节点与所述公共盘中大大数据平台中离线集群服务的配置文件进行挂载。

可选地，在所述基于预设组件容器化技术，将大数据平台中离线集群服务的组件容器化之后，所述方法还包括：对所述容器进行异常监控；如果监控得到所述容器存在异常，对所述存在异常的容器进行重启。

根据本公开的第二方面，提供了一种用于大数据平台的离线集群管理装置，包括：处理单元，被配置成基于预设的容器化技术，将大数据平台中离线集群服务的组件容器化，得到与组件相对应的容器；存储单元，被配置成将所述容器存储至预设的集群中，得到容器集群；调度单元，被配置成响应于接收到对所述大数据平台的离线集群进行管理的请求，对容器集群中的容器进行调度。

可选地，调度单元进一步被配置成：响应于接收到对指定的大数据平台的离线集群的服务进行扩展的请求，利用预设的调度方法，将所需扩展的服务对应的容器分配至指定的大数据平台的离线集群；和/或，响应于接收到对指定的大数据平台的离线集群的大小进行调整的请求，将容器集群中的容器调度至离线集群中指定的节点中。