[发明专利]任务调度管理的方法和装置

说明书

本发明公开了任务调度管理的方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：每个第一处理单元执行如下步骤：判断是否存在待处理的第一任务；若是，则生成第一任务的流水数据，基于第一任务进行数据处理，然后触发流水清理逻辑；否则触发流水清理逻辑；在结束流水清理逻辑后，跳转至判断是否存在待处理的第一任务的步骤；第一处理单元是指数据处理过程中产生流水数据的处理单元；流水清理逻辑包括：清除对各个第一任务进行逻辑处理产生的流水数据集中符合清理策略的目标流水数据。该实施方式能够减少系统的组成，简化后续运维，避免由于部署单元增多而导致系统故障率增高和后续运维成本增高的问题，提高流水清理的整体效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种任务调度管理的方法和装置。

背景技术

应用系统处理交易请求时，往往会利用数据库记录交易相关信息，这些记录通常逐条保存在某张表中，这类表统称为流水表，流水表中的记录也统称为流水。

流水除了用于实时交易，根据业务需求，有时也用于交易冲正、流水查询等，交易冲正分当日冲正、隔日冲正两种，流水查询分当日查询、历史查询两种。

仅用于实时交易的流水在交易结束时就可以被删除，但为了防止频繁删除数据库带来的性能下降问题，这个删除动作通常会集中在当天的某个时点批量进行；用于冲正、查询的流水通常在日结时从当日表迁移到历史表中。对流水表的删除、迁移也称之为流水清理。流水清理可以防止流水表无限膨大，保障实时交易响应速度。

现有技术通常增加独立部署的日终单元、日终调度单元，通过其与处理任务的处理单元之间的通信来清理流水数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

部署单元增多增加系统故障率，提高后续运维成本；为了保证协同过程成功，需要增加一定的协同冗余，这些冗余会降低流水清理的整体效率。

发明内容

有鉴于此，本发明实施例提供一种任务调度管理的方法和装置，能够减少系统的组成，简化后续运维，避免由于部署单元增多而导致系统故障率增高和后续运维成本增高的问题，提高流水清理的整体效率。

为实现上述目的，根据本发明实施例的一个方面，提供一种任务调度管理的方法，包括：每个第一处理单元执行如下步骤：

判断是否存在待处理的第一任务；

若是，则生成所述第一任务的流水数据，基于所述第一任务进行数据处理，然后触发流水清理逻辑；否则触发流水清理逻辑；

在结束所述流水清理逻辑后，跳转至判断是否存在待处理的第一任务的步骤；

其中，第一处理单元是指数据处理过程中产生流水数据的处理单元；所述流水清理逻辑包括：清除对各个第一任务进行逻辑处理产生的流水数据集中符合清理策略的目标流水数据。

可选地，所述流水清理逻辑还包括：

在清除对各个第一任务进行逻辑处理产生的流水数据集中符合清理策略的目标流水数据之前，确认当前时间在流水清理时段内；若所述当前时间不在所述流水清理时段内，则结束所述流水清理逻辑。

可选地，所述流水清理逻辑还包括：

若所述当前时间不在所述流水清理时段内，将清理标志设置为第一标识；所述清理标志在所述流水清理周期内有效；

在清除对各个第一任务进行逻辑处理产生的流水数据集中符合清理策略的目标流水数据之前，确认清理标志为第一标识；

在清除对各个第一任务进行逻辑处理产生的流水数据集中符合清理策略的目标流水数据之后，将所述清理标志设置为第二标识。

可选地，所述流水清理逻辑还包括：