[发明专利]异构数据同步方法及系统

权利要求书

1.一种异构数据同步方法，其特征在于：所述异构数据同步方法包括：

设置一管理节点，用于管理所述管理节点所在数据中心的工作节点和/或其它数据中心的工作节点；

所述管理节点接收数据源配置信息和接收用于配置将至少一个数据源的数据同步到数据宿的订阅配置信息；其中，所述管理节点通过浏览器/服务器的结构使数据源发布者和数据订阅者在网络页面上进行数据同步任务操作；所述数据源配置信息包括但不限于数据源名称、数据源的订阅字段、数据同步的频率和数据增量阈值；所述订阅配置信息为根据所述数据订阅者订阅的数据源的字段配置的信息；

所述管理节点根据所述数据源配置信息、所述订阅配置信息，基于工作节点的负载、所述工作节点和所述数据源、所述数据宿的至少位置关系确定就近工作节点，作为用于执行将所述数据源的数据同步到所述数据宿的同步任务的最优工作节点；

所述管理节点将所述同步任务分配至所述最优工作节点，以供所述最优工作节点执行所述同步任务。

2.根据权利要求1所述的异构数据同步方法，其特征在于：所述异构数据同步方法还包括：

所述管理节点根据所述数据源配置信息和所述订阅配置信息识别相同数据源的同步任务；

所述管理节点将所述相同数据源的同步任务分配至同一工作节点。

3.根据权利要求1所述的异构数据同步方法，其特征在于：所述异构数据同步方法还包括：

所述管理节点接收执行所述同步任务的所述工作节点反馈的同步信息；

所述管理节点根据所述工作节点反馈的同步信息对所述工作节点执行的所述同步任务进行监控；

在监控到所述同步任务出现异常时生成一任务告警事件，并以预设方式进行告警。

4.根据权利要求3所述的异构数据同步方法，其特征在于：所述异构数据同步方法还包括：

所述管理节点对所述工作节点的节点负载进行监控；

在监控到所述节点负载达到负载阈值时生成一节点告警事件，并以预设方式进行告警。

5.根据权利要求1所述的异构数据同步方法，其特征在于：所述管理节点根据所述工作节点的节点负载和内存状态控制所述工作节点处理所述同步任务的增量数据的方式是采用内存进行处理的数据处理方式还是生成缓存文件的数据处理方式。

6.一种异构数据同步系统，其特征在于：包括：

多个工作节点，用于执行同步任务；

管理节点，用于管理所述管理节点所在数据中心的工作节点和/或其它数据中心的工作节点；其中，所述管理节点包括：

配置模块，用于接收数据源配置信息和接收用于配置将至少一个数据源的数据同步到数据宿的订阅配置信息；其中，所述配置模块通过浏览器/服务器的结构使数据源发布者和数据订阅者在网络页面上进行数据同步任务操作；所述数据源配置信息包括但不限于数据源名称、数据源的订阅字段、数据同步的频率和数据增量阈值；所述订阅配置信息为根据所述数据订阅者订阅的数据源的字段配置的信息；

调度模块，用于根据所述数据源配置信息、所述订阅配置信息，基于工作节点的负载、所述工作节点和所述数据源、所述数据宿的至少位置关系确定就近工作节点，作为用于执行将所述数据源的数据同步到所述数据宿的同步任务的最优工作节点，并将所述同步任务分配至所述最优工作节点，以供所述最优工作节点执行所述同步任务。

7.根据权利要求6所述的异构数据同步系统，其特征在于：所述调度模块还用于根据所述数据源配置信息和所述订阅配置信息识别相同数据源的同步任务，将所述相同数据源的同步任务分配至同一工作节点。

8.根据权利要求6所述的异构数据同步系统，其特征在于：所述管理节点还包括：

节点同步监控模块，用于接收执行所述同步任务的所述工作节点反馈的同步信息，根据所述工作节点反馈的同步信息对所述工作节点执行的所述同步任务进行监控，在监控到所述同步任务出现异常时生成一任务告警事件，并以预设方式进行告警。