[发明专利]一种多源异构的结构化数据同步方法

说明书

本发明公开了一种多源异构的结构化数据同步方法，包括以下步骤：数据源配置：设置动态界面并进行数据库连接定义；数据表配置：配置源表和目标表；字段配置：根据源表和目标表获取字段，标明主键字段和增量字段；数据队列管理：将同步的记录和操作类型插入到中间表，通过联查中间表，将源表数据插入或更新到目标表中；同步频率管理：不同频率的同步选择不同的同步方式；读取配置信息，执行查询操作；进行数据同步：选择程序处理或存储过程处理或其他处理方式；同步进度展示。本发明基于触发器跟踪数据库记录，来实现不同结构表之间的数据复制及不同时间要求的任务执行，使处于局域网的不同数据库服务器的数据保持同步。

技术领域

本发明涉及一种多源异构的结构化数据同步方法，属于数据处理技术领域。

背景技术

信息化时代，数据共享在不同系统和应用之间必不可少，同步的要求也越来越高。异构数据是指不同结构的数据，数据的异构性主要体现在：计算机体系结构的异构，数据的物理存储来源于不同体系结构的计算机；操作系统的异构，数据的存储来源于不同的操作系统；数据格式的异构，数据的存储管理机制不同，可以是关系型数据库系统，如Oracle、MySQL、DB2等，也可以是文件型二维数据，如txt、CSV、XLS等；数据存储地点的异构，数据存储在分散的物理位置上；数据存储的逻辑模型异构，数据分别在不同的业务逻辑中存储和维护，使相同意义的数据存在表现的异构，如独立的销售系统和独立的采购系统中存在部门的编码不一致等。异构数据往往不是一个层面的异构，而是在多个层面上都存在异构。

现有异构数据同步是在源数据库和目标数据库之间通过数据传输来实现，由于数据结构不同、种类繁杂，或者语义相同、数据表达形式不同，使得海量异构数据的同步数据吞吐量有限，异构数据同步的效率较低，同步技术方案存在一定的技术局限性。

目前虽然很多数据库(如Oracle，MySQL等)提供了数据库数据的同步功能，但由于实际应用的多样性，有时不能很好满足应用需要，以不动产登记为例，数据汇交、共享涉及到多个不同数据库，结构也有差别，实时性要求也不同。因此需要提出了一种新的结构化的数据库同步技术。

发明内容

针对以上方法存在的不足，本发明提出了一种多源异构的结构化数据同步方法，能够实现处于局域网的不同数据库服务器的数据同步。

本发明解决其技术问题采取的技术方案是：

本发明实施例提供的一种多源异构的结构化数据同步方法，包括以下步骤：

步骤1，数据源配置：设置动态界面并进行数据库连接定义；

步骤2，数据表配置：配置源表和目标表；

步骤3，字段配置：根据源表和目标表获取字段，标明主键字段和增量字段；

步骤4，数据队列管理：将同步的记录和操作类型插入到中间表，通过联查中间表，将源表数据插入或更新到目标表中；

步骤5，同步频率管理：不同频率的同步选择不同的同步方式；

步骤6，读取配置信息，执行查询操作；

步骤7，进行数据同步：选择程序处理或存储过程处理或其他处理方式；

步骤8，同步进度展示。

作为本实施例一种可能的实现方式，所述数据源配置过程为：设置“方案名称”、“源数据库连接定义”、“目标数据库定义”、“增量值”、“同步时间”和“同步状态”动态界面；并将上述动态界面进行数据库连接定义，所述动态界面格式为：用户名/密码/数据库地址/数据库实例/端口/数据库类型。

作为本实施例一种可能的实现方式，所述源表配置采用树形结构，第一节点配置一个主表，第二节点配置与其有关联的子表，以此类推；所述目标表不仅配置表名，还能够进行逻辑插入、更新和删除。