[发明专利]一种数据实时同步方法及系统

权利要求书

1.一种数据实时同步方法，其特征在于，包括以下步骤：

S10：实时获取原始数据所在数据库的增量日志；

S20：对所述增量日志进行数据接入处理；

S30：对所述数据接入处理得到的数据进行数据提取处理；

S40：对所述数据提取处理得到的数据进行数据转换处理；

S50：对所述数据转换处理得到的数据进行数据载入处理，从而将所述原始数据实时同步至数据平台、分布式数据库以及分布式文件系统中的一种或多种。

2.如权利要求1所述的数据实时同步方法，其特征在于：

步骤S10中，将所述原始数据所在数据库作为主数据库，通过一从数据库获取所述主数据库的增量日志。

3.如权利要求1所述的数据实时同步方法，其特征在于：

步骤S10中，通过一增量数据订阅和消费中间件获取所述原始数据所在数据库的增量日志。

4.如权利要求1所述的数据实时同步方法，其特征在于：

步骤S20～步骤S50通过一同步任务调度中间件实现。

5.如权利要求4所述的数据实时同步方法，其特征在于：

所述同步任务调度中间件包括管理模块和工作节点模块，其中所述管理模块推送同步配置到所述工作节点，所述工作节点将同步状态反馈给所述管理模块。

6.如权利要求5所述的数据实时同步方法，其特征在于：

所述工作节点模块包括多个工作节点，所述同步任务调度中间件还包括分布式应用程序协调模块，其协调多个工作节点之间的协同工作。

7.一种数据实时同步系统，其特征在于，包括从数据库和同步任务调度中间件，所述同步任务调度中间件包括管理模块和工作节点模块，所述工作节点模块包括数据接入模块、数据提取模块、数据转换模块以及数据载入模块，其中：

所述管理模块推送同步配置到所述工作节点，所述工作节点将同步状态反馈给所述管理模块；

所述原始数据所在数据库作为主数据库，所述从数据库获取所述主数据库的增量日志；

所述数据接入模块对所述增量日志进行数据接入处理；

所述数据提取模块对所述数据接入处理得到的数据进行数据提取处理；

所述数据转换模块对所述数据提取处理得到的数据进行数据转换处理；

所述数据载入模块对所述数据转换处理得到的数据进行数据载入处理，从而将所述原始数据实时同步至数据平台、分布式数据库以及分布式文件系统中的一种或多种。

8.如权利要求7所述的数据实时同步系统，其特征在于：

所述工作节点模块包括多个工作节点，所述同步任务调度中间件还包括分布式应用程序协调模块，其协调多个工作节点之间的协同工作。

9.一种数据实时同步系统，其特征在于，包括增量数据订阅和消费中间件和同步任务调度中间件，所述同步任务调度中间件包括管理模块和工作节点模块，所述工作节点模块包括数据接入模块、数据提取模块、数据转换模块以及数据载入模块，其中：

所述管理模块推送同步配置到所述工作节点，所述工作节点将同步状态反馈给所述管理模块；

所述增量数据订阅和消费中间件获取所述原始数据所在数据库的增量日志；

所述数据接入模块对所述增量日志进行数据接入处理；

所述数据提取模块对所述数据接入处理得到的数据进行数据提取处理；

所述数据转换模块对所述数据提取处理得到的数据进行数据转换处理；

所述数据载入模块对所述数据转换处理得到的数据进行数据载入处理，从而将所述原始数据实时同步至数据平台、分布式数据库以及分布式文件系统中的一种或多种。

10.如权利要求9所述的数据实时同步系统，其特征在于：

所述工作节点模块包括多个工作节点，所述同步任务调度中间件还包括分布式应用程序协调模块，其协调多个工作节点之间的协同工作。