[发明专利]一种批处理作业的处理方法和装置

说明书

技术领域

本发明涉及数据处理技术，尤其涉及一种批处理作业的处理方法和装置。

背景技术

在银行业务中，特别是数据量庞大的大型银行系统，往往需要通过批处理作业成批处理大量数据，例如工资代发业务，行业水电煤费用的代扣，日间业务的账务汇总，客户账单批生成处理，账务报表生成的过程处理等。

在上述批处理作业过程中，批处理程序需按照预设顺序依次对业务数据表中动辄上万条，甚至数十万、百万条的记录进行处理。如果期间批处理作业出现异常，例如某条记录异常、外部数据库异常、或者是内存不足等不可以抗击因素，在排除异常需要重新提交批处理作业时，需要考虑如何重新处理该批处理作业对应的业务数据表。目前，在业界较为普遍的方式是：在批处理作业提交前，对相应的业务数据表进行备份，若出现异常，需要重新提交批处理作业，则根据该备份的业务数据表重新执行批处理作业。

上述方式存在以下缺点：(1)、根据该备份的业务数据表重新执行批处理作业，无法保留上次批处理作业已经处理更新过的数据，业务数据表中的所有数据都得重新处理，在某些数据量庞大的批处理作业过程中，这种重新执行的方式对系统的消耗极大且效率极低；(2)对业务数据表进行数据备份需要大量存储空间及数据库资源，造成资源的过渡消耗；(3)在批处理作业过程中，备份的业务数据表需要控制其他作业不对其进行更新，以保证备份数据的正确性，然而在银行系统日间联机过程中，大量的联机作业在后台不间断运行，此控制往往较难实现。

发明内容

本发明实施例提供了一种断点续处理机制的批处理作业的处理方法和装置，无需在批处理作业前对相应的业务数据表进行备份，在批处理作业出现异常，需要重新提交批处理作业时，可以从上次出现异常的地方继续执行未处理的批处理作业，避免整个业务数据表的重新处理。

本发明实施例的第一方面提供一种批处理作业的处理方法，包括：在批处理作业过程中，

对业务数据表中每个当前待处理的记录的记录标识信息进行存储，且后一个记录的记录标识信息更新前一个记录的记录标识信息，其中，所述记录标识信息可以对所述记录进行唯一识别；

在批处理作业出现异常后，若重新提交批处理作业，则根据存储的所述记录标识信息确定出现异常时的断点记录信息；

根据所述断点记录信息继续执行未处理的批处理作业。

可选地，所述对业务数据表中每个当前待处理的记录的记录标识信息进行存储具体包括：

创建断点状态表；

在每个当前待处理的记录被处理前，将所述记录的记录标识信息写入所述断点状态表中。

可选地，所述记录标识信息包括所述记录的键值信息；

若存在多个业务数据表，则所述记录标识信息还包括业务数据表信息；

若存在一个业务数据表被多个批处理作业引用，则所述记录标识信息还包括批处理作业信息。

可选地，所述记录标识信息还包括批处理作业的运行时间信息；

所述方法还包括：

根据所述记录标识信息确定批处理作业的运行状态信息，所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态；

将批处理作业的运行状态信息写入所述断点状态表。

可选地，所述方法还包括：

根据批处理作业的业务数据量确定断点状态表的写入频率；

所述将所述记录的记录标识信息写入所述断点状态表中具体包括：

根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。

本发明实施例第二方面提供了一种批处理作业的处理装置，包括：

保存单元，用于在批处理作业过程中，对业务数据表中每个当前待处理的记录的记录标识信息进行存储，其中，所述记录标识信息可以对所述记录进行唯一识别；

第一确定单元，用于在批处理作业出现异常后，若重新提交批处理作业，则根据存储的所述记录标识信息确定出现异常时的断点记录信息；

执行单元，用于根据所述断点记录信息继续执行未处理的批处理作业。

可选地，所述保存单元具体包括：

创建模块，用于创建断点状态表；

写入模块，用于在每个当前待处理的记录被处理前，将所述记录的记录标识信息写入所述断点状态表中，且后一个记录的记录标识信息更新前一个记录的记录标识信息。

可选地，所述记录标识信息包括所述记录的键值信息；

若存在多个业务数据表，则所述记录标识信息还包括业务数据表信息；