[发明专利]一种基于状态机的大数据任务处理方法及系统

说明书

本申请公开了一种基于状态机的大数据任务处理方法及系统，应用于容器化场景下资源管理平台上的大数据任务处理。将状态机注入资源管理平台中，结合状态机的流转框架监测大数据任务的处理过程，并触发当前处理阶段所在的状态点对应的预先设置的反馈处理算法，进行资源管理平台中资源的调度分配以及任务的处理，并且随着大数据任务的处理进行状态点的转移。由此可见，采用本申请实施例的方案，通过状态机的流转框架，可以实现在资源管理平台上对大数据处理任务过程的监控，并且通过各个状态点的反馈处理算法，实现了在大数据任务处理的不同阶段对资源管理平台的资源的合理利用。

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种基于状态机的大数据任务处理方法及系统。

背景技术

随着计算机技术的发展，容器技术逐渐成为一种广泛认可的服务器资源共享技术，并在近几年得到了飞速发展。其中，出现了类似于Kubernetes等基于容器化技术的资源管理平台。

但是，在现有技术中，Kubernetes等资源管理平台缺乏适应于大数据任务的处理方法，在大数据任务的处理过程中，由于缺乏对大数据任务处理过程的实时监控，容易导致在资源分配和容错管理上出现问题。可以理解的是，当大数据任务提交到Kubernetes等资源管理平台时，在任务处理的过程中，由于无法实时得到任务的处理阶段，难以及时的根据处理阶段的需要进行资源分配或者容错处理，导致容易出现资源分配不合理以及错误停止的情况。

发明内容

基于上述问题，本申请实施例的主要目的在于提供一种基于状态机的大数据任务处理方法及系统，能够实现对大数据任务的处理过程的实时监控以及相关处理，实现了在大数据任务处理的不同阶段对资源管理平台的资源的合理利用。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种基于状态机的大数据任务处理方法，其特征在于，所述方法应用于容器化场景下资源管理平台上的大数据任务处理；该方法预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述方法包括：

将所述状态机注入所述资源管理平台；

根据状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；

当任务处理阶段进行到某个状态点时，触发针对该状态点所预先设置的反馈处理算法进行资源的调取与分配并进行任务处理；

根据大数据任务的处理过程，进行当前所处的处理阶段对应的状态点的转移。

可选的，所述全部状态点为：至少包括对应于两个处理阶段的状态点：一个为对应于任务创建阶段的状态点；另一个为对应于任务结束或任务更新阶段的状态点。

可选的，所述状态点为：与处理阶段一一对应的状态点。

可选的，所述状态转移关系为：一个状态点与下一个处理阶段对应的状态点之间建立的进行状态点转移的关系。

可选的，所述流转框架为：包含至少一个可循环的处理过程的流转框架。

第二方面，本申请实施例提供一种基于状态机的大数据任务处理系统，其特征在于，所述系统应用于容器化场景下资源管理平台上的大数据任务处理；该系统预先将大数据任务的处理过程进行多个处理阶段的划分，根据各个处理阶段设置所述状态机中的对应的状态点；根据所述处理阶段之间的先后关系，确定状态点之间的状态转移关系；所述系统包括：

状态机注入单元，用于将所述状态机注入到资源管理平台中；

任务进程监控单元，用于通过状态机的流转框架监控大数据任务的处理过程；其中，所述状态机的流转框架是依据全部状态点和全部状态转移关系建立的；