[发明专利]数据处理方法和装置

说明书

本申请提供了一种数据处理方法和装置，该方法包括：获得待处理的多个数据处理任务及每个数据处理任务的历史处理时长信息；依据数据处理任务中各工序所需的工序时长，确定多个数据处理任务的最优处理顺序；按照最优处理顺序，在依次处理多个数据处理任务的过程中，对于当前处理的任意一个数据处理任务，依次处理数据处理任务的多种工序；在依次处理数据处理任务的多种工序的过程中，如数据处理任务中任一种工序完成处理，则将该种工序所占用的工序处理资源分配给数据处理任务之后下一数据处理任务的该种工序，以基于该种工序对应的工序处理资源处理下一数据处理任务的该种工序。本申请的方案可以提高大批量数据文件处理的处理效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据处理方法和装置。

背景技术

银行经常需要向审计机构上报审计数据。而上报审计数据涉及将数据文件经过解压、预处理以及加载到数据库等处理后，按照数据加工规则形成报表数据。

其中，银行的调度系统每天都会存在大批量的数据文件，调度系统会依次处理各个数据文件并加载入库等。然而，如果待处理的数据文件较多，调度系统处理各个数据文件必然需要耗费较多的时间，因此，如何提高调度系统处理大批量数据文件的处理效率是本领域技术人员需要解决的技术问题。

发明内容

为解决上述技术问题，本申请提供一种数据方法和装置，以提高大批量数据文件处理的处理效率。

为了达到如上目的，一方面，本申请提供了一种数据处理方法，包括：

获得待处理的多个数据处理任务以及每个数据处理任务的历史处理时长信息，其中，所述数据处理任务包括具有先后处理顺序的多种工序，其中，每个数据处理任务对应待处理的一种数据文件，且，每个数据处理任务的历史处理时长信息包括：历史处理所述数据处理任务对应的数据文件的过程中，所述数据处理任务的各工序所需耗费的工序时长；

依据所述数据处理任务中各工序所需的工序时长，确定所述多个数据处理任务的最优处理顺序；

按照所述最优处理顺序，依次处理所述多个数据处理任务；

在依次处理所述多个数据处理任务的过程中，对于当前处理的任意一个数据处理任务，依次处理所述数据处理任务的多种工序，其中，每种工序利用该种工序对应的工序处理资源完成该种工序的处理；

在依次处理所述数据处理任务的多种工序的过程中，如所述数据处理任务中任一种工序完成处理，则将该种工序所占用的工序处理资源分配给所述数据处理任务之后下一数据处理任务的该种工序，以基于该种工序对应的工序处理资源处理所述下一数据处理任务的该种工序。

优选的，所述依据所述数据处理任务中各工序所需的工序时长，确定所述多个数据处理任务的最优处理顺序，包括：

确定出处理所述多个数据处理任务的多种候选处理顺序；

依据多个数据处理任务的并行处理规则，从所述候选处理顺序中确定出最优处理顺序，其中，采用所述最优处理顺序处理所述多个数据处理任务所需的时间最短，所述并行处理规则为依次处理所述数据处理任务中多个工序，并在完成所述数据处理任务中任意一种工序的处理后，将所述数据处理任务中该种工序所占用的工序处理资源分配给其他数据处理任务的该工序，以并行处理不同数据处理任务的工序。

优选的，所述确定出处理所述多个数据处理任务的多种候选处理顺序，包括：

构建所述多个数据处理任务的排列空间树，所述排列空间树表征所述多个数据处理任务对应的多种候选处理顺序。

优选的，所述依据多个数据处理任务的并行处理规则，从所述候选处理顺序中确定出最优处理顺序，包括：

依据所述多个数据处理任务的并行处理规则，并结合分支界限法，确定所述排列空间树的最优解，并将所述最优解对应的候选处理顺序确定为最优处理顺序。