[发明专利]数据任务处理方法和系统

说明书

本公开提供了一种数据任务处理方法，包括：将待处理任务分成至少一个子任务，所述至少一个子任务存放于子任务队列中；从所述子任务队列中获取相应的子任务进行处理，并存储所述相应的子任务的处理结果；在所述子任务的处理结果满足预设条件时，停止处理所述待处理任务。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据任务处理方法和一种数据任务处理系统。

背景技术

随着计算机技术的快速发展，需要计算机执行的任务越来越大。在对数据进行处理时，由于应用场景和需要实现的处理目标越来越复杂，常常面临单线程执行调度时间开销大，资源利用率不高等问题。现有技术中，通常将大任务拆分成多个子任务，交给多个子线程去处理，或者将大任务待处理的数据进行物理拆分，交给多台服务器并行处理，然后对结果合并。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题，即，在现有技术中无法实时监控子任务的处理结果，只能等所有子任务执行完成后才能知道整个任务的结果，无法中途做出响应，待整个任务执行完，发现不是预期的结果，需要重做，资源利用率较低，并且时效性也不高。

发明内容

有鉴于此，本公开提供了一种可以实时监听任务调度的中间执行状态的数据任务处理方法和系统。

本公开的一个方面提供了一种数据任务处理方法，包括：将待处理任务分成至少一个子任务，所述至少一个子任务存放于子任务队列中，从所述子任务队列中获取相应的子任务进行处理，并存储所述相应的子任务的处理结果，以及在所述子任务的处理结果满足预设条件时，停止处理所述待处理任务。

根据本公开的实施例，上述子任务以数据块的形式存放于所述子任务队列中，所述数据块包括所述子任务数据以及所述数据块的状态信息。

根据本公开的实施例，上述子任务队列包括阻塞队列。

根据本公开的实施例，上述从所述子任务队列中获取相应的子任务进行处理，包括：通过线程池中的多个工作线程从所述子任务队列中获取多个相应的子任务进行处理，其中，每个所述工作线程一次对一个所述子任务进行处理。

根据本公开的实施例，上述从所述子任务队列中获取相应的子任务进行处理，还包括：在获取到所述子任务后，将所述子任务从所述子任务队列中删除。

根据本公开的实施例，上述存储所述子任务的处理结果包括：将所述子任务的处理结果存储在结果队列中，所述结果队列包括每个所述子任务的处理状态信息。

根据本公开的实施例，上述在所述子任务的处理结果满足预设条件时，停止处理所述待处理任务，包括：在所述子任务的处理结果为失败，并且失败次数大于等于预设阈值时，停止处理所述待处理任务。

根据本公开的实施例，上述方法还包括：在所述子任务的处理结果为失败，并且失败次数小于预设阈值时，将所述子任务重新存放于子任务队列中。

本公开的另一个方面提供了一种数据任务处理系统，包括：任务拆分模块用于将待处理任务分成至少一个子任务，所述至少一个子任务存放于子任务队列中，子任务处理模块用于从所述子任务队列中获取相应的子任务进行处理，并存储所述相应的子任务的处理结果，以及停止处理模块用于在所述子任务的处理结果满足预设条件时，停止处理所述待处理任务。

根据本公开的实施例，上述子任务以数据块的形式存放于所述子任务队列中，所述数据块包括所述子任务数据以及所述数据块的状态信息。

根据本公开的实施例，上述子任务队列包括阻塞队列。

根据本公开的实施例，上述从所述子任务队列中获取相应的子任务进行处理，包括：通过线程池中的多个工作线程从所述子任务队列中获取多个相应的子任务进行处理，其中，每个所述工作线程一次对一个所述子任务进行处理。