[发明专利]一种基于消息中间件的数据同步方法、装置及系统

说明书

本发明实施例公开了一种基于消息中间件的数据同步方法、装置及系统，所述方法包括：在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。采用本发明实施例，可以实现多用户数据同步的时效性和数据一致性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于消息中间件的数据同步方法、装置及系统。

背景技术

数据同步是数据处理及应用中常见的场景，在将数据同步分发给多个外部用户时，数据一致性、数据同步时效性都至关重要。目前在进行多用户数据同步时，常见的有基于接口数据同步和基于SFTP文件数据同步。对于基于接口的数据同步，在处理大批量数据同步时通常会存在同步性能和效率问题，同时还在考虑网络情况及失败重试等。对于基于SFTP的数据文件同步，需要考虑大批量数据时文件大小问题，文件格式兼容问题以及文件下载解析等问题，同时基于SFTP的数据同步在同步时间性方便存在比较大的挑战。

如何保证多用户数据同步的数据一致性、数据同步时效性是数据处理一个待处理的重要问题。

发明内容

基于此，在本发明实施例中，提供了一种基于消息中间件的数据同步方法和系统，可以利用消息中间件的发布订阅机制实现多用户数据同步的时效性。

在本发明的第一部分，提供了一种基于消息中间件的数据同步方法，所述方法包括：

在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据，并发送给各个用户对应的客户端，以使各个用户对应的客户端在接收到同步数据后执行数据同步操作。

可选的，所述获取数据更新的日志文件的步骤，还包括：

监听mysql binlog，以得到二进制的日志文件。

可选的，所述方法还包括：

获取数据更新请求，根据数据更新请求更新数据库数据，并触发所述监听mysqlbinlog，以得到二进制的日志文件的步骤；

所述监听mysql binlog，以得到二进制的日志文件的步骤，还包括：

通过监听mysql binlog，以提取对数据库数据进行更新的数据DML操作记录，作为所述日志文件。

可选的，所述将所述日志文件发送到消息中间件的步骤，还包括：

将所述日志文件发送到所述消息中间件的topic中，以通过消息中间件实现对同步数据的缓存。

可选的，所述根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据的步骤，还包括：

获取多个用户的订阅数据列表，并加载至redis缓存中；

通过预设的过滤模块，从所述消息中间件中筛选出与每个用户的订阅数据列表对应的数据作为同步数据，并发送给每个用户对应的topic，以使每个用户对应的客户端接收topic中的同步数据。

可选的，所述方法还包括：

客户端在接收到同步数据之后，根据接收到的同步数据进行数据更新，将更新的数据写入到客户端的数据库中。

在本发明的第二部分，提供了一种基于消息中间件的数据同步装置，所述装置包括：

日志文件传递模块，用于在进行了数据更新需要进行数据同步的情况下，获取数据更新的日志文件，将所述日志文件发送到消息中间件；

数据筛选模块，用于根据预设的多个用户的订阅数据列表，在所述消息中间件中的日志文件中筛选出与每个用户对应的同步数据；