[发明专利]多源数据同步方法、系统及其应用的模型中枢

说明书

本发明提供一种多源数据同步方法，包括：创建基础数据表；依据获取源数据的方式配置同步脚本，其中所述同步脚本至少定义配置数据库连接信息节点connection的同步数据源连接节点reader以及写入数据库连接节点writer；依据所述同步脚本配置源数据同步记录，所述源数据同步记录至少包括执行器名称、执行路由方式、定时任务表达式、运行模式、执行器方法名称、子任务id、任务参数；依据所述源数据同步记录和所述同步脚本从不同的数据库内同步源数据，并写入所述基础数据表内，可实现模型中枢对各种异构网络、异构数据库的数据采集优化，进而实现各类多源数据后续处理的应用场景，提高数据同步的实时性以及数据交换的效率。

技术领域

本发明涉及多源数据处理领域，特别涉及一种多源数据同步方法、系统及其应用的模型中枢。

背景技术

互联网服务现阶段已融入我国各项行业中，切实为相关行业做出实际贡献。以“互联网+政务服务”为例，各个部门单位在办理相关业务时,借助互联网技术使得多个部门单位的业务数据于不同部门单位之间流动与传播，且可汇总各个部门单位的业务数据以展开必要的数据分析，以此方式切实解决原有模式中信息数据受纸质传播条件限制的相关问题,使部门单位的不同部门之间的信息传播速度加快,传播质量提升。

为实现多部门单位数据的管理，模型中枢提取不同数据库的数据再将数据单独汇总进行统一处理，然而此时数据依旧是分散在不同系统的不同的数据库实例中，只能通过业务人员写脚本通过SQL语句实现不同数据库的多源数据同步任务。数据中枢在采集不同数据库的数据时需要配置大量的脚本文件和json文件，大量脚本和json文件的管理和开发会导致大量的重复工作量：换言之，每次同步一张表或者新建一个同步方法时，都需要创建一个脚本和json文件，这样系统运行一定阶段后势必会产生大量的文件，而且文件直接没办法实现方法共享，进而会导致大量重复工作量。另外，一个数据处理任务对应一个脚本，有的脚本多达N多张表，一旦脚本超过一定数量以后，每次数据处理任务失败、或者需要对脚本里的参数进行增删改查时，都需要调整脚本中对应的SQL，这种方式会耗费业务人员大量的精力和时间，且效率和质量都很低下。

换言之，目前的模型中枢采集不同数据库的源数据，需要配置针对不同执行任务的执行脚本，而目前的模型中枢无法满足对执行脚本的有效管理，导致会出现：脚本配置任务繁杂、脚本难以修改、脚本执行错误率高等问题，导致多源数据处理过程复杂且效率低下等问题。

发明内容

本发明的目的在于提供一种多源数据同步方法、系统及其应用的模型中枢，该多源数据同步方法可实现模型中枢对各种异构网络、异构数据库的数据采集优化，进而实现各类多源数据后续处理的应用场景，提高数据同步的实时性以及数据交换的效率。

为实现以上目的，本技术方案提供一种多源数据同步方法，包括：

创建基础数据表；

依据获取源数据的方式配置同步脚本，其中所述同步脚本至少定义配置数据库连接信息节点connection的同步数据源连接节点reader以及写入数据库连接节点writer；

依据所述同步脚本配置源数据同步记录，所述源数据同步记录至少包括执行器名称、执行路由方式、定时任务表达式、运行模式、执行器方法名称、子任务id、任务参数；

依据所述源数据同步记录和所述同步脚本从不同的数据库内同步源数据，并写入所述基础数据表内。

一种多源数据同步系统，执行其上所述的多源数据同步方法。

一种模型中枢，包括管理配置平台及脚本执行平台，执行其上所述的多源数据同步方法。

一种电子设备，包括处理器；以及存储器，在所述存储器中存储有计算机存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行其上所述的多源数据同步方法。