[发明专利]一种多源异构的结构化数据同步方法

权利要求书

1.一种多源异构的结构化数据同步方法，其特征是，包括以下步骤：

步骤1，数据源配置：设置动态界面并进行数据库连接定义；

步骤2，数据表配置：配置源表和目标表；

步骤3，字段配置：根据源表和目标表获取字段，标明主键字段和增量字段；

步骤4，数据队列管理：将同步的记录和操作类型插入到中间表，通过联查中间表，将源表数据插入或更新到目标表中；

步骤5，同步频率管理：不同频率的同步选择不同的同步方式；

步骤6，读取配置信息，执行查询操作；

步骤7，进行数据同步：选择程序处理或存储过程处理或其他处理方式；

步骤8，同步进度展示。

2.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述数据源配置过程为：设置“方案名称”、“源数据库连接定义”、“目标数据库定义”、“增量值”、“同步时间”和“同步状态”动态界面；并将上述动态界面进行数据库连接定义，所述动态界面格式为：用户名/密码/数据库地址/数据库实例/端口/数据库类型。

3.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述源表配置采用树形结构，第一节点配置一个主表，第二节点配置与其有关联的子表，以此类推；所述目标表不仅配置表名，还能够进行逻辑插入、更新和删除。

4.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述主键字段用于查找目标表是是否存在此记录；所述增量字段用于判断源表是否有新增、更新或者删除的操作。

5.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述数据队列管理的具体过程为：通过触发器将同步的记录和操作类型插入到中间表，中间表通过主键进行排序，程序根据对应的方案读取数据，标记未同步的状态为0，正在同步的记录为1；通过联查中间表，将源表数据插入或更新到目标表；当同步成功后，删除中间表为1的记录。

6.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述同步方式分为主动式和被动式；主动式，按间隔时间主动扫描精义的数据源，以毫秒为单位，用户可自行设置时间；被动式，接受用户通知，socked或Webservice通过程序主动去同步业务数据。

7.根据权利要求6所述的一种多源异构的结构化数据同步方法，其特征是，对于数据要求实时共享的表，配置的时候选择被动式；对于时间间隔有要求的选择主动式，通过设置间隔时间，定时去执行任务。

8.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述读取配置信息，执行查询操作的过程为：读取数据库连接配置、源表配置、字段配置，通过配置信息，执行查询读取操作，并对需要转换或者加密/解密的字段进行相关处理。

9.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述数据同步过程为：读取程序方法名，调用相关的处理方法；

如果同步方式为删除后新增，当写入目标表时，先根据主键检查表中是否有相同的记录，如果有，则删除记录后插入；如果没有，则直接插入。同步方式为更新的话，当写入目标表时，先根据主键检查表中是否有相同的记录，如果有，则直接更新；如果没有，则删除后新增；

如果同步方式为删除，当写入目标表时，先根据主键检查表中是否有相同的记录，如果有，则直接删除。

10.根据权利要求1所述的一种多源异构的结构化数据同步方法，其特征是，所述同步进度展示的过程为：通过程序运行界面控制程序的运行状态，并展示各个同步方案运行的情况。