[发明专利]一种跨网闸数据同步方法

权利要求书

1.一种跨网闸数据同步方法，其特征在于，该方法操作步骤如下：

步骤1）公司IDI工具部署，部署在源端和目标端；

步骤2）源端和目标端IDI工具数据源配置；

步骤3）在源端ETL工具建立增量数据监测和抽取作业；

步骤4）网闸目录配置；

步骤5）增量文件解析入库；

步骤6）日志记录。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1）中IDI工具包括转换模块和作业模块；

所述的转换模块是针对护具的基础转换；

所述的作业模块是完成整个工作流的控制。

3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1）中IDI工具部署步骤如下：

1）安装JDK，要求1.6版本以上，64位操作系统要求安装64位JDK；

2）建立IDI资源库，执行资源库建表文件：创建资源库.sql；

3）修改IDI登录配置文件：将配好的资源库信息按照格式填写到repositories.xml文件中；

4）解压idi-designer后，运行IDI.bat进入登录界面；选择上一步配置好的资源库名称，输入登录密码：admin，点击确认按钮；此时IDI的运行环境和配置都已完成，可以正常使用。

4.根据权利要求1所述的方法，其特征在于，所述的步骤2）中源端和目标端IDI工具数据源配置，包括：

根据数据库类型选择连接类型，填写数据库服务器IP地址、数据库名称、端口号、数据库用户名和密码，填写完成后点击测试，提示测试成功后点击保存。

5.根据权利要求1所述的方法，其特征在于，所述的步骤3）中在源端ETL工具建立增量数据监测和抽取作业，操作步骤如下：

1）将要同步的数据库表建立修改时间戳或同步标志位字段，用于标识和监测需要同步的增量数据；

2）点击IDI工具左侧的转换按钮创转换，选择增加表输入控件，选择数据源，根据实际情况编写SQL语句用于查询需要同步的数据；

3）选择增加文本文件输出控件，并通过ETL跳接线将表输入和文本文件输出两个控件连接起来，将增量数据流输出到文本文件；

4）如果需要同步多张表，需要按照以上步骤创建多个转换；

5）所有转换创建完成后，点击作业按钮新建数据同步增量数据抽取作业，填写作业名称、任务文件名参数，并将已定义的转换引入到所述的作业中。

6.根据权利要求5所述的方法，其特征在于，所述的根据实际情况编写SQL语句，包括：

点击预览可以查看SQL语句效果，如正常则点击保存。

7.根据权利要求5所述的方法，其特征在于，多个所述的转换通过跳接线连接，同时根据实际情况，设置所述的作业执行周期。

8.根据权利要求1所述的方法，其特征在于，所述的步骤4）中网闸目录配置，包括：

配置源端增量数据文件目录和目标端接收文件目录，开启网闸SFTC功能对源目录进行监听，发现文件后能够实时将文件移动至目标端接收目录中。

9.根据权利要求1所述的方法，其特征在于，所述的步骤5）中增量文件解析入库，包括：

在目标端IDI工具设置接收目录监听作业，监听目标数据库增量数据目录，发现增量数据文件后根据文件名称自动匹配对应解析转换并通过文本文件输入、表输出组件插入或更新至目标数据库对应表中；根据业务需求设定作业执行周期，可按分钟、天、周、月设定执行时间间隔。

10.根据权利要求1所述的方法，其特征在于，所述的步骤6）中日志记录，包括：

利用IDI工具日志输出功能，记录数据同步作业运行状态，以便查看运行情况和问题原因分析。