[发明专利]数据同步系统、方法和计算机可读存储介质

说明书

本发明公开了一种数据同步系统、方法和计算机可读存储介质，涉及数据处理领域。数据同步系统包括：源模块，被配置为从源数据库中逐条获取数据，对读取的数据进行预处理，并将预处理后的部分或全部数据发送给输入缓冲模块；解析模块，被配置为逐条获取来自输入缓冲模块的数据并进行解析，将解析后的数据发送给输出缓冲模块；汇点模块，被配置为逐条获取来自输出缓冲模块的数据，并将获取的数据写入目标数据库。本发明实施例的数据同步系统提高了数据同步的效率，并且可以应用于实时性更高、吞吐量更大的应用场景中。

技术领域

本发明涉及数据处理领域，特别涉及一种数据同步系统、方法和计算机可读存储介质。

背景技术

对实时的二进制日志(binlog)的订阅和消费用于处理和协同各机房的数据同步，其中涉及了大量的数据计算及存储。数据库之间的表数据同步则是这一过程中的一种高频、通用的需求。在相关技术中，通常采用基于微批处理构建的数据库binlog日志同步系统，使用微批处理计算机制，其提供的功能可以实现准实时分钟级的数据库日志计算及同步。

发明内容

发明人经过分析后发现，基于微批处理构建的数据库binlog日志同步系统，在应用于实时性要求更高、吞吐量需求更大的应用环境时，数据同步的效率比较低。

本发明实施例所要解决的一个技术问题是：如何提高数据同步系统的数据同步效率。

根据本发明一些实施例的第一个方面，提供一种数据同步系统，包括：源模块，被配置为从源数据库中逐条获取数据，对读取的数据进行预处理，并将预处理后的部分或全部数据发送给输入缓冲模块；解析模块，被配置为逐条获取来自输入缓冲模块的数据并进行解析，将解析后的数据发送给输出缓冲模块；汇点模块，被配置为逐条获取来自输出缓冲模块的数据，并将获取的数据写入目标数据库。

在一些实施例中，数据同步系统还包括：并行度配置模块，被配置为根据获取的并行度，对源模块、解析模块、汇点模块中的至少一个模块的数量进行调整。

在一些实施例中，数据同步系统还包括：负载分析模块，被配置为根据数据同步系统的负载信息，确定源模块、解析模块、汇点模块中的至少一个的并行度，以便并行度配置模块对相应模块的数量进行调整。

在一些实施例中，输入缓冲模块包括多个环形队列；负载分析模块进一步被配置为在输入缓冲模块的环形队列的空余位置小于预设值的情况下，调高解析模块的并行度。

在一些实施例中，数据同步系统还包括：输入缓冲模块，被配置为压入源模块发送的数据、以及弹出解析模块获取的数据；输出缓冲模块，被配置为压入解析模块发送的数据、以及弹出汇点模块获取的数据。

在一些实施例中，输入缓冲模块包括输入代理和与输入代理连接的多个环形队列；输出缓冲模块包括输出代理和与输出代理连接的多个环形队列。

在一些实施例中，数据同步系统还包括：解析模块进一步被配置为根据存储在元数据缓存中的元数据，对获取的数据进行解析，并且在判定获取的数据为数据库模式定义语言DDL操作数据时，向源数据库发起元数据更新请求，以便令元数据缓存中的元数据进行更新。

在一些实施例中，数据同步系统还包括：位点记录模块，被配置为接收源模块、解析模块和汇点模块发送的快照信息，其中，快照信息包括发送快照信息的模块当前读取的数据的序列号，并将每个模块发送的最新的快照信息中的最小序列号确定为有效位点。

在一些实施例中，源模块进一步被配置为为读取的每条数据分配序列号，并根据当前读取的数据生成源模块的快照信息，并将源模块的快照信息发送给解析模块和位点记录模块；解析模块进一步被配置为根据源模块的快照信息和当前读取的数据生成解析模块的快照信息，并将解析模块的快照信息发送给汇点模块和位点记录模块；汇点模块进一步被配置为根据解析模块的快照信息和当前读取的数据生成汇点模块的快照信息，并将汇点模块的快照信息发送给位点记录模块。