[发明专利]一种数据动态拆分方法和装置

说明书

本发明公开了数据动态拆分方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取业务系统数据源，基于预设的任务条件对数据源进行清洗，每得到一个清洗后的数据则将任务计数器递增；监控任务计算器，确定任务计算器大于批次数，则生成对应的批次号，直至完成对清洗后数据的批次划分；基于批次号，将清洗后的数据根据预设的映射关系分批次导出至中间表。从而，本发明的实施方式能够解决将业务数据导出至中间表时由于数据量过大造成数据库卡死的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据动态拆分方法和装置。

背景技术

在集成中间件系统中，需要将业务系统产生的数据按照一定的规则，按时、准确、完整地导出至中间表，由于中间表数量大并且每个表存储不同业务类型的数据，如果一次处理数据量过大不仅造成数据库压力大，而且不利于数据分析。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在现有技术中，每次集成中间件系统从业务系统抽取的业务数据量少则百万，多则千万级别，而在将业务数据导出至中间表时由于一次统计数据量过大造成数据库卡死。

发明内容

有鉴于此，本发明实施例提供一种数据动态拆分方法和装置，能够解决将业务数据导出至中间表时由于数据量过大造成数据库卡死的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据动态拆分方法，包括获取业务系统数据源，基于预设的任务条件对数据源进行清洗，每得到一个清洗后的数据则将任务计数器递增；监控任务计算器，确定任务计算器大于批次数，则生成对应的批次号，直至完成对清洗后数据的批次划分；基于批次号，将清洗后的数据根据预设的映射关系分批次导出至中间表。

可选地，基于预设的任务条件对数据源进行清洗之前，包括：

在配置文件中设置任务条件、批次数和映射关系，并将配置文件初始化至内存中。

可选地，生成对应的批次号，包括：

获取当前时间戳，基于所述任务识别码的哈希值，拼接生成对应的批次号。

可选地，将清洗后的数据根据预设的映射关系分批次导出至中间表，包括：

利用数据集的并行运算编程模型，通过用于将数据库转换为分布式文件系统的解析器，将清洗后的数据根据预设的映射关系分批次导出至中间表。

另外，本发明还提供了一种数据动态拆分装置，包括获取模块，用于获取业务系统数据源，基于预设的任务条件对数据源进行清洗，每得到一个清洗后的数据则将任务计数器递增；划分模块，用于监控任务计算器，确定任务计算器大于批次数，则生成对应的批次号，直至完成对清洗后数据的批次划分；导出模块，用于基于批次号，将清洗后的数据根据预设的映射关系分批次导出至中间表。

可选地，所述获取模块基于预设的任务条件对数据源进行清洗之前，包括：

在配置文件中设置任务条件、批次数和映射关系，并将配置文件初始化至内存中。

可选地，所述划分模块生成对应的批次号，包括：

获取当前时间戳，基于所述任务识别码的哈希值，拼接生成对应的批次号。

可选地，所述导出模块将清洗后的数据根据预设的映射关系分批次导出至中间表，包括：

利用数据集的并行运算编程模型，通过用于将数据库转换为分布式文件系统的解析器，将清洗后的数据根据预设的映射关系分批次导出至中间表。