[发明专利]一种数据批量处理系统、方法、设备和存储介质

权利要求书

1.一种数据批量处理系统，其特征在于，所述系统包括：数据读取模块、数据处理模块和数据写入模块，其中，所述数据读取模块、所述数据处理模块和所述数据写入模块分别独立封装；

所述数据读取模块，用于批处理任务中的原始数据转换为第一预设数据格式，并根据所述批处理任务中的读命令读取所述第一预设数据格式的原始数据；

所述数据处理模块，用于基于所述批处理任务中的处理命令对所述原始数据进行处理，将处理得到的数据存储至预设列表中；

所述数据写入模块，用于根据所述批处理任务中的写命令，将所述预设列表中的数据转换为第二预设数据格式，并将所述第二预设数据格式的数据写入所述目标存储容器。

2.根据权利要求1所述的系统，其特征在于，所述数据批量处理系统还包括任务管理模块，所述任务管理模块用于接收批处理任务，并根据批处理任务控制所述数据读取模块、所述数据处理模块和所述数据写入模块执行所述批处理任务，其中，所述任务管理模块独立封装，所述批处理任务包括原始数据、读命令、处理命令和写命令。

3.根据权利要求2所述的系统，其特征在于，所述任务管理模块还用于：

根据批处理任务中原始数据的初始存储位置生成所述读命令，根据所述批处理任务中的处理需求生成所述处理命令，根据所述批处理任务中数据的目标存储位置生成所述写命令。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据监控模块；

所述数据监控模块分别与所述数据处理模块和所述数据写入模块通信连接，用于监控写命令执行过程中数据是否存在异常情况；

若出现异常情况，则生成报警信息，并将所述报警信息存储于信息存储器，其中，所述报警信息包括：异常数据和异常原因，所述异常原因包括下述至少一项：所述数据格式异常和网络异常；

若无异常情况，则将根据各所述批处理任务的处理状态，生成各所述批处理任务的处理状态信息；其中，所述处理状态包括：未处理、处理中和处理完成。

5.根据权利要求2所述的系统，其特征在于，所述系统还包括：作业启动模块；

所述作业启动模块，基于接收的所述批处理任务，向所述任务管理模块发送所述批处理任务的启动指令；

所述任务管理模块根据所述启动指令控制所述数据读取模块、所述数据处理模块和所述数据写入模块执行所述批处理任务。

6.根据权利要求5所述的系统，其特征在于，所述作业启动模块还用于，在批处理任务执行失败时，根据所述批处理任务的执行失败节点重新启动所述批处理任务。

7.一种数据批量处理方法，其特征在于，所述方法包括：

根据批处理任务中的读命令，将原始数据转换为预设数据格式，并读取所述预设数据格式的原始数据；

基于所述批处理任务中的处理命令对所述原始数据进行处理，将处理得到的数据存储至预设列表中；

根据所述批处理任务中的写命令，将所述预设列表中的数据转换为第二预设数据格式，并将所述第二预设数据格式的数据写入所述目标存储容器。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：监控写命令执行过程中数据是否存在异常情况；

若出现异常情况，则生成报警信息，并将所述报警信息存储于信息存储器，其中，所述报警信息包括：异常数据和异常原因，所述异常原因包括下述至少一项：所述数据格式异常和网络异常；

若无异常情况，则将根据各所述批处理任务的处理状态，生成各所述批处理任务的处理状态信息；其中，所述处理状态包括：未处理、处理中和处理完成。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求7-8中任一所述的一种数据批量处理方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求7-8中任一所述的一种数据批量处理方法。