[发明专利]数据顺序同步方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种数据顺序同步方法、装置、计算机设备及存储介质。所述方法包括：获取数据库的变更记录表，并将变更记录表发送给消息中间件；将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；通过消息消费者从所述消息中间件的分区或者消息队列中获取消息，并对获取到的消息进行处理以对所述数据库的数据进行变更。本发明实施例通过将同一个数据的消息分发到消息中间件的同一个分区或者同一个消息队列中，由于消息中间件的同一个分区或同一个消息队列里的消息是有序的，所以消息消费者在消费消息的时候也是按顺序消费的，从而确保了数据同步的一致性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据顺序同步方法、装置、计算机设备及存储介质。

背景技术

数据同步是大数据经常遇到的问题，其中就包括SQL server中的数据同步。虽然目前有很多数据同步的方案，但是对于保证数据同步的顺序的研究还比较少。数据同步的顺序如果出了问题，数据一致性就会出现问题。例如，对于先增加一个数据后修改一个数据，如果顺序不恰当就会变成先修改后增加，导致数据的一致性出现问题，为了解决这种数据不一致的问题，成为本领域亟待解决的技术问题。

发明内容

本发明实施例提供了一种数据顺序同步方法、装置、计算机设备及存储介质，旨在解决现有技术中数据库中数据同步的顺序不一致的问题。

第一方面，本发明实施例提供了一种数据顺序同步方法，其包括：

获取数据库的变更记录表，并将所述变更记录表发送给消息中间件；

将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；

通过消息消费者从所述消息中间件的分区或者消息队列中获取消息，并对获取到的消息进行处理以对所述数据库的数据进行变更。

其进一步的技术方案为，所述获取数据库的变更记录表，包括：

开启数据库的CDC机制或者Change Tracking机制，以获取数据库的变更记录表。

其进一步的技术方案为，所述变更记录表的格式为JSON格式。

其进一步的技术方案为，所述将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区，包括：

获取消息的唯一字段的hash值；

通过所述唯一字段的hash值对所述消息中间件的分区数进行取模运算，并根据取模运算得到的余数确定消息对应的分区。

其进一步的技术方案为，所述获取消息唯一字段的hash值之前，所述将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区，还包括：

判断消息的唯一字段的值是否存在；

若消息的唯一字段的值不存在，获取所述变更记录表的表名的hash值；

通过所述变更记录表的表名的hash值对所述消息中间件的分区数进行取模运算，并根据取模运算得到的余数确定消息对应的分区；

若消息的唯一字段的值存在，转到所述获取消息的唯一字段的hash值的步骤。

第二方面，本发明实施例还提供了一种数据顺序同步装置，其包括：

第一获取单元，用于获取数据库的变更记录表，并将所述变更记录表发送给消息中间件；

分发单元，用于将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；