[发明专利]一种数据动态拆分方法和装置

权利要求书

1.一种数据动态拆分方法，其特征在于，包括：

获取业务系统数据源，基于预设的任务条件对数据源进行清洗，每得到一个清洗后的数据则将任务计数器递增；

监控任务计算器，确定任务计算器大于批次数，则生成对应的批次号，直至完成对清洗后数据的批次划分；

基于批次号，将清洗后的数据根据预设的映射关系分批次导出至中间表。

2.根据权利要求1所述的方法，其特征在于，基于预设的任务条件对数据源进行清洗之前，包括：

在配置文件中设置任务条件、批次数和映射关系，并将配置文件初始化至内存中。

3.根据权利要求1所述的方法，其特征在于，生成对应的批次号，包括：

获取当前时间戳，基于所述任务识别码的哈希值，拼接生成对应的批次号。

4.根据权利要求1-3任一所述的方法，其特征在于，将清洗后的数据根据预设的映射关系分批次导出至中间表，包括：

利用数据集的并行运算编程模型，通过用于将数据库转换为分布式文件系统的解析器，将清洗后的数据根据预设的映射关系分批次导出至中间表。

5.一种数据动态拆分装置，其特征在于，包括：

获取模块，用于获取业务系统数据源，基于预设的任务条件对数据源进行清洗，每得到一个清洗后的数据则将任务计数器递增；

划分模块，用于监控任务计算器，确定任务计算器大于批次数，则生成对应的批次号，直至完成对清洗后数据的批次划分；

导出模块，用于基于批次号，将清洗后的数据根据预设的映射关系分批次导出至中间表。

6.根据权利要求5所述的方法，其特征在于，所述获取模块基于预设的任务条件对数据源进行清洗之前，包括：

在配置文件中设置任务条件、批次数和映射关系，并将配置文件初始化至内存中。

7.根据权利要求5所述的方法，其特征在于，所述划分模块生成对应的批次号，包括：

获取当前时间戳，基于所述任务识别码的哈希值，拼接生成对应的批次号。

8.根据权利要求5-7任一所述的方法，其特征在于，所述导出模块将清洗后的数据根据预设的映射关系分批次导出至中间表，包括：

利用数据集的并行运算编程模型，通过用于将数据库转换为分布式文件系统的解析器，将清洗后的数据根据预设的映射关系分批次导出至中间表。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。