[发明专利]数据同步系统、方法和计算机可读存储介质

权利要求书

1.一种数据同步系统，包括：

源模块，被配置为从源数据库中逐条获取数据，对读取的数据进行预处理，并将预处理后的部分或全部数据发送给输入缓冲模块；

解析模块，被配置为逐条获取来自输入缓冲模块的数据并进行解析，将解析后的数据发送给输出缓冲模块；

汇点模块，被配置为逐条获取来自输出缓冲模块的数据，并将获取的数据写入目标数据库。

2.根据权利要求1所述的数据同步系统，还包括：

并行度配置模块，被配置为根据获取的并行度，对源模块、解析模块、汇点模块中的至少一个模块的数量进行调整。

3.根据权利要求2所述的数据同步系统，还包括：

负载分析模块，被配置为根据数据同步系统的负载信息，确定源模块、解析模块、汇点模块中的至少一个的并行度，以便并行度配置模块对相应模块的数量进行调整。

4.根据权利要求3所述的数据同步系统，其中，所述输入缓冲模块包括多个环形队列；

所述负载分析模块进一步被配置为在输入缓冲模块的环形队列的空余位置小于预设值的情况下，调高解析模块的并行度。

5.根据权利要求1所述的数据同步系统，还包括：

输入缓冲模块，被配置为压入源模块发送的数据、以及弹出解析模块获取的数据；

输出缓冲模块，被配置为压入解析模块发送的数据、以及弹出汇点模块获取的数据。

6.根据权利要求5所述的数据同步系统，其中，

输入缓冲模块包括输入代理和与输入代理连接的多个环形队列；

输出缓冲模块包括输出代理和与输出代理连接的多个环形队列。

7.根据权利要求1所述的数据同步系统，还包括：

所述解析模块进一步被配置为根据存储在元数据缓存中的元数据，对获取的数据进行解析，并且在判定获取的数据为数据库模式定义语言DDL操作数据时，向源数据库发起元数据更新请求，以便令元数据缓存中的元数据进行更新。

8.根据权利要求1所述的数据同步系统，还包括：

位点记录模块，被配置为接收源模块、解析模块和汇点模块发送的快照信息，其中，所述快照信息包括发送所述快照信息的模块当前读取的数据的序列号，并将每个模块发送的最新的快照信息中的最小序列号确定为有效位点。

9.根据权利要求8所述的数据同步系统，其中，

所述源模块进一步被配置为为读取的每条数据分配序列号，并根据当前读取的数据生成源模块的快照信息，并将所述源模块的快照信息发送给解析模块和位点记录模块；

所述解析模块进一步被配置为根据源模块的快照信息和当前读取的数据生成解析模块的快照信息，并将所述解析模块的快照信息发送给汇点模块和位点记录模块；

所述汇点模块进一步被配置为根据解析模块的快照信息和当前读取的数据生成汇点模块的快照信息，并将所述汇点模块的快照信息发送给位点记录模块。

10.一种数据同步方法，包括：

源模块从源数据库中逐条获取数据，对读取的数据进行预处理，并将预处理后的部分或全部数据发送给输入缓冲模块；

解析模块逐条获取来自输入缓冲模块的数据并进行解析，将解析后的数据发送给输出缓冲模块；

汇点模块逐条获取来自输出缓冲模块的数据，并将获取的数据写入目标数据库。

11.根据权利要求10所述的数据同步方法，还包括：

根据获取的并行度，对源模块、解析模块、汇点模块中的至少一个模块的数量进行调整。

12.根据权利要求11所述的数据同步方法，还包括：

根据数据同步系统的负载信息，确定源模块、解析模块、汇点模块中的至少一个模块的并行度。