[发明专利]一种数据同步处理方法及装置

权利要求书

1.一种数据同步处理方法，其特征在于，

实时监控源数据库的日志数据；

若监控到所述日志数据发生变动，则将变动数据转换为序列化的二进制格式；

对转换后的变动数据进行持久化缓存，并维持所述变动数据的有序队列；

按照预先设置的同步文件的基础定义，从缓存中拉取对应的变动数据，生成对应的同步文件，其中，所述基础定义包括：数据的存储位置、时效；

根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心。

2.根据权利要求1所述的方法，其特征在于，所述根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心，包括：

根据所述同步文件对应的时效，判断所述同步文件是否写入完成，若所述同步文件没有写入完成，则继续从缓存中拉取对应的变动数据，直至所述同步文件的写入完成；

将拉取的同步数据生成的同步文件发送到目标数据库或数据交换中心。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若监控到所述日志数据发生变动后，将所述变动数据发送的指定的数据表集合中；

将所述数据表集合中的变动数据转换为序列化的二进制格式，并将序列化格式注册到一致模式注册表中。

4.根据权利要求3所述的方法，其特征在于，所述数据表集合包括多个数据表，所述将所述变动数据发送的指定的数据表集合中，包括：

根据所述变动数据对应的存储位置，将所述变动数据发送到对应的数据表中，所述数据表在一个或多个数据表集合中。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在将所述同步文件发送到目标数据库或数据交换中心之前，备份所述同步文件。

6.一种数据同步处理装置，其特征在于，包括：

日志数据监控单元，用于实时监控源数据库的日志数据；

变动数据抓取单元，用于若监控到所述日志数据发生变动，则将变动数据转换为序列化的二进制格式；

数据存储单元，用于对转换后的变动数据进行持久化缓存，并维持所述变动数据的有序队列；

同步数据生成单元，用于按照预先设置的同步文件的基础定义，从缓存中拉取对应的变动数据，生成对应的同步文件，其中，所述基础定义包括：数据的存储位置、时效；

数据发送单元，用于根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心。

7.根据权利要求6所述的装置，其特征在于，所述数据发送单元具体用于：

根据所述同步文件对应的时效，判断所述同步文件是否写入完成，若所述同步文件没有写入完成，则继续从缓存中拉取对应的变动数据，直至所述同步文件的写入完成；

将拉取的同步数据生成的同步文件发送到目标数据库或数据交换中心。

8.一种数据同步处理设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-5任一项所述方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1-5任一项所述方法的步骤。

10.一种数据同步处理系统，其特征在于，包括：目标数据库、数据交换中心中的至少一个，以及源数据库、数据库日志抓取装置、生产者装置、消息存储装置、消费者装置，其中：

所述数据库日志抓取装置与所述源数据库连接，用于抓取源数据库中发生变动的变动数据，并将所述变动数据推送到指定的数据表集合中，由所述数据表集合将变动数据发送到所述生产者装置；

所述生产者装置接收所述数据库日志抓取装置发送的动动数据，将所述变动数据转换为序列化的二进制格式，并将序列化格式注册到一致模式注册表中；

所述消息存储装置用于接收所述生产者装置发送的变动数据，将接收到的变动数据持久化缓存，并维持有序队列；

所述消费者装置用于从所述消息存储装置读取预设的同步文件的基础定义，根据所述基础定义从所述消息缓存装置中拉取对应的变动数据，生成对应的同步文件，并将生成的同步文件投递到所述目标数据库或所述数据交换中心。