[发明专利]一种轻量级多数据源批处理的方法

说明书

本发明公开了一种轻量级多数据源批处理的方法，包括以下步骤：S001、获取指定数据库内存储的数据，并根据需求调取数据中的匹配对象，并生成多个时间集合；S002、基于生成的多个所述时间集合执行排序，以时间顺序降序排列，第一数据的所述时间集合以firstname命名，最后一个数据的所述时间集合以lastname命名；S003、完成解析的数据批量插入目标数据库内，并以排序顺序从firstname开始执行至lastname结束，依次循环批次访问写入。该发明提供的轻量级多数据源批处理的方法，实现了多通道分批次进行数据更新写入，避免集写入增加平台所在服务器后台负担，可实现分通道、定时化数据写入，避免发生服务器过载造成的平台卡顿以及崩坏问题发生。

技术领域

本发明涉及多数据批量处理系统技术领域，具体涉及一种轻量级多数据源批处理的方法。

背景技术

公司在做定制化营销，会整合用户最近在平台的留存数据进行数据分析。但是分析的都是用户近一年数据，而这些数据会存在各种各样的存储媒介中，取取数据成本很大，故放在业务系统中执行批量处理则会影响业务系统正常运行。

发明内容

本发明的目的是提供一种轻量级多数据源批处理的方法，用于批量化处理多数据更新，避免因多数据的更新造成的系统运行过载出现卡顿或故障码频出问题的发生。

为了实现上述目的，本发明提供如下技术方案：一种轻量级多数据源批处理的方法，包括以下步骤：

S001、获取指定数据库内存储的数据，并根据需求调取数据中的匹配对象，并生成多个时间集合；

S002、基于生成的多个所述时间集合执行排序，以时间顺序降序排列，第一数据的所述时间集合以firstname命名，最后一个数据的所述时间集合以lastname命名；

S003、完成解析的数据批量插入目标数据库内，并以排序顺序从firstname开始执行至lastname结束，依次循环批次访问写入。

作为优选的，所述指定数据库为云存储；

所述时间集合为一年内平台运行过程存储于所述云存储中的留存数据。

作为优选的，所述S002中执行完成后会生成第一通知弹窗通知用户数据解析状态，且该第一通知弹窗至少包括一个指令按钮，所述指令按钮用于对完整解析后数据执行下一步数据处理。

作为优选的，所述目标数据库为预设的所述解析数据的写入路径。

作为优选的，所述步骤2中完成排序的所述时间集合数据会生成项目匹配指令，并传输至所述步骤3中，所述步骤3执行所述时间集合数据访问写入后，读取到chunk数量后与所述项目匹配指令进行比对，以判断数据是否完成，是，则生成第二弹窗进行提示；否，则将未写入的所述时间集合数据的命名进行罗列。

一种轻量级多数据源批处理系统，用于运行上述方案中所述的轻量级多数据源批处理的方法，包括：

插件写入模块，基于完成Job代码匹配至平台内，并通过JobLanucher执行并保存操作记录job任务，所述job任务中按照指定逻辑顺序执行Step，并保存Step每步的结果；

数据库处理模块，通过代码解析目标数据库数据，根据代码中的QueryProvider执行解析，并基于完成的解析数据进行排序，第一个名firstname，最后一个名lastname；

数据库写入模块，将解析获取的数据通过绑定数据库进行写入。

作为优选的，所述数据库写入模块包括分页同步单元，基于创建的job任务设置多个任务以创建多个分页区间，并位于分页区间内将多个数据以排序循环依次进行进行写入。

作为优选的，所述数据库处理模块还包括MySqlPagingQueryProvider代码字段下的多个执行子代码分别包括：