[发明专利]异构数据同步方法及系统

说明书

本发明提供一种异构数据同步方法及系统，所述异构数据同步方法包括：设置一管理节点，用于管理所述管理节点所在数据中心的工作节点和/或其它数据中心的工作节点；所述管理节点接收数据源配置信息和接收用于配置将至少一个数据源的数据同步到数据宿的订阅配置信息；所述管理节点根据所述数据源配置信息、所述订阅配置信息以及各工作节点的节点信息获取用于执行将所述数据源的数据同步到所述数据宿的同步任务的最优工作节点；所述管理节点将所述同步任务分配至所述最优工作节点，以供所述最优工作节点执行所述同步任务。本发明采用管理节点+工作节点的模式，通过分布式的部署和智能的节点调度解决数据跨公网的问题。

技术领域

本发明涉及互联网领域，特别是涉及互联网的数据同步技术领域，具体为一种异构数据同步方法及系统。

背景技术

随着互联网的发展，现代社会已经进入信息社会，人与人之间在互联网上的交互越来越多，每家互联网公司的数据都出现了爆炸性的增长，而不管是过去、现在还是未来，数据的处理和统计分析都是一直存在的。企业的业务系统，为了能够承载这些数据，不可避免的采用了一定的策略，使得数据分布在不同的机器，不同的数据库和表中。

用户量越来越大、系统和数据也变得越来越大。由于系统过大会带来各种问题，所以系统微服务化也随之兴起。将系统及其数据都进行了拆分，同时也带来了异构数据同步的需求。

传统的异构离线数据同步工具，更偏向于较小数据量的复杂转换或同数据中心数据同步。极少考虑跨机房的情况。无法满足大量数据、复杂网络情况下的异构数据快速、稳定的同步。

传统的异构离线数据同步工具通常缺少必要的运维功能，缺少各种数据统计和告警，不易于快速发现和解决数据同步中发生的问题。

上述异构数据同步方法主要存在以下的不足：1)通常是stand-alone的

1)需要使用者各自去部署，难以统一部署、管理。有新版本的时候很难推进版本升级；机器的利用率较低；难以共用从数据源查询出来的一份数据。多个查询容易对数据源造成压力。传输相同的数据导致的带宽浪费。

2)基本上没有考虑跨机房、跨公网的数据传输。

3)没有告警和各种统计报功能，不易于问题的发现和解决。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种异构数据同步方法，所述异构数据同步方法包括：设置一管理节点，用于管理所述管理节点所在数据中心的工作节点和/或其它数据中心的工作节点；所述管理节点接收数据源配置信息和接收用于配置将至少一个数据源的数据同步到数据宿的订阅配置信息；所述管理节点根据所述数据源配置信息、所述订阅配置信息以及各工作节点的节点信息获取用于执行将所述数据源的数据同步到所述数据宿的同步任务的最优工作节点；所述管理节点将所述同步任务分配至所述最优工作节点，以供所述最优工作节点执行所述同步任务。

于本发明的一实施例中，所述异构数据同步方法还包括：所述管理节点根据所述数据源配置信息和所述订阅配置信息识别相同数据源的同步任务；所述管理节点将所述相同数据源的同步任务分配至同一工作节点。

于本发明的一实施例中，所述异构数据同步方法还包括：所述管理节点接收执行所述同步任务的所述工作节点反馈的同步信息；所述管理节点根据所述工作节点反馈的同步信息对所述工作节点执行的所述同步任务进行监控；在监控到所述同步任务出现异常时生成一任务告警事件，并以预设方式进行告警。

于本发明的一实施例中，所述异构数据同步方法还包括：所述管理节点对所述工作节点的节点负载进行监控；在监控到所述节点负载达到负载阈值时生成一节点告警事件，并以预设方式进行告警。

于本发明的一实施例中，所述管理节点根据所述工作节点的节点负载和内存状态控制所述工作节点处理所述同步任务的增量数据的方式是采用内存进行处理的数据处理方式还是生成缓存文件的数据处理方式。