[发明专利]一种跨网闸数据同步方法

说明书

本发明公开了一种跨网闸数据同步方法，该方法操作步骤如下：1）公司IDI工具部署，部署在源端和目标端；2）源端和目标端IDI工具数据源配置；3）在源端ETL工具建立增量数据监测和抽取作业；4）网闸目录配置；5）增量文件解析入库；6）日志记录。本发明的一种跨网闸数据同步方法和现有技术相比，具有可异构、灵活性好、通用性强、安全性高的特点，支持各种增量文件类型，如Excel、Txt、Cube等；能够满足网络间存在网闸隔离且不允运行协议通信环境下数据同步需求，并在实际环境中进行使用。

技术领域

本发明涉及数据库之间数据同步技术领域，具体地说是一种跨网闸数据同步方法。

背景技术

随着信息技术的飞速发展，企事业单位信息化建设的不断深入，使得企事业单位业务系统数量不断增加。这时，各业务系统之间数据交互，各子业务系统与核心业务系统之间数据交互，诸如此类场景的应用需求不断出现。因此，部门应对此类需求的压力越来越大。比较突出的问题，主要有实时性与性能的冲突，数据交互方案的安全性与健壮性、跨网络等。关于数据同步主要有两个层面的同步，一是通过后台程序编码实现数据同步，二是直接作用于数据库，在数据库层面实现数据的同步。通过程序编码实现数据同步，其主要的实现思路是有就更新，无则新增，其他情况日志记录。数据库层面的数据库同步主要有以下几种方式：通过发布/订阅的方式实现同步；通过SQL JOB方式实现数据同步；通过ServiceBroker 消息队列的方式实现数据同步；采用挖掘数据库日志的方式实现数据同步；采用相关软件在存储级进行复制。

目前成熟的数据数据同步工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。如果拥有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…)，并且经常需要在它们之间导入导出数据，那么就需要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread/ /mysqldumper…)。而且以后每增加一种库类型，需要的工具数目将线性增长。这些工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销，效率差别很非常大。很多工具也无法满足数据同步任务工作中常见的需求，比如日期格式转化，特性字符的转化，编码转换等。

发明内容

本发明的技术任务是提供一种跨网闸数据同步方法。

本发明的技术任务是按以下方式实现的：

一种跨网闸数据同步方法，该方法操作步骤如下：

步骤1）公司IDI工具部署，部署在源端和目标端；

步骤2）源端和目标端IDI工具数据源配置；

步骤3）在源端ETL工具建立增量数据监测和抽取作业；

步骤4）网闸目录配置；

步骤5）增量文件解析入库；

步骤6）日志记录。

所述的步骤1）中IDI工具包括转换模块和作业模块；

所述的转换模块是针对护具的基础转换；

所述的作业模块是完成整个工作流的控制。

所述的步骤1）中IDI工具部署步骤如下：

1）安装JDK，要求1.6版本以上，64位操作系统要求安装64位JDK；

2）建立IDI资源库，执行资源库建表文件：创建资源库.sql；

3）修改IDI登录配置文件：将配好的资源库信息按照格式填写到repositories.xml文件中；