[发明专利]一种分布式数据同步方法及系统

权利要求书

1.一种分布式数据同步方法，其特征在于，其包括以下步骤：

调度器向源数据库查询是否需要进行同步任务，并根据查询结果弹性调整调度器查询间隔时间：若不需要进行同步任务，则增大调度器查询间隔时间，若需要进行同步任务，则减小调度器查询间隔时间；当查询到需要进行同步任务时，调度器查询当前是否已有正在进行的其他同步任务：若没有，则马上发起同步任务；若有，则根据预设调度策略进行任务安排；所述预设调度策略至少包括：顺序执行策略、丢弃策略和强制执行策略；

调度器选择同步组件集群中的其中一个同步组件执行任务：调度器根据同步组件集群状态及预设分配策略去选择同步组件执行任务，所述预设分配策略至少包括：顺序分配策略、负载最低策略以及随机策略；

同步组件进行任务切分并采用多个并发线程处理；

同步组件从源数据库读取同步数据集并进行数据处理；

同步组件生成临时唯一标识替换同步数据集的原有唯一标识，将同步数据集批量写入目标数据库后删除目标数据库中有更新的旧数据记录，最后批量还原同步数据集的原有唯一标识。

2.如权利要求1所述的方法，其特征在于，同步组件接收到调度器下发的同步任务后，同步组件推算出同步任务所需并发线程数，并根据并发线程数将同步任务切分成对应的小任务，最后采用对应的多个并发线程并行处理这些小任务。

3.如权利要求1所述的方法，其特征在于，同步组件根据源数据库的唯一标识类型生成临时唯一标识以替换同步数据集的原有唯一标识，同步数据集的原有唯一标识被存在预设临时字段中。

4.如权利要求1或3所述的方法，其特征在于，若同步任务出现异常而终止，则根据临时唯一标识全部移除同步数据集，还原执行同步任务前的目标数据库状态。

5.一种分布式数据同步系统，其特征在于，其包括调度器及同步组件集群；

所述调度器用于向源数据库查询是否需要进行同步任务，并根据查询结果弹性调整调度器查询间隔时间：若不需要进行同步任务，则增大调度器查询间隔时间，若需要进行同步任务，则减小调度器查询间隔时间；当查询到需要进行同步任务时，调度器查询当前是否已有正在进行的其他同步任务：若没有，则马上发起同步任务；若有，则根据预设调度策略进行任务安排；所述预设调度策略至少包括：顺序执行策略、丢弃策略和强制执行策略；

所述调度器还用于选择同步组件集群中的其中一个同步组件执行任务：调度器根据同步组件集群状态及预设分配策略去选择同步组件执行任务，所述预设分配策略至少包括：顺序分配策略、负载最低策略以及随机策略；

所述同步组件用于进行任务切分并采用多个并发线程处理；

所述同步组件还用于从源数据库读取同步数据集并进行数据处理；

所述同步组件还用于生成临时唯一标识替换同步数据集的原有唯一标识，将同步数据集批量写入目标数据库后删除目标数据库中有更新的旧数据记录，最后批量还原同步数据集的原有唯一标识。

6.如权利要求5所述的系统，其特征在于，所述同步组件还用于根据源数据库的唯一标识类型生成临时唯一标识以替换同步数据集的原有唯一标识，同步数据集的原有唯一标识被存在预设临时字段中。