[发明专利]数据同步方法、装置、系统和介质

权利要求书

1.一种数据同步方法，包括：

利用与N个消息中间件一一对应的N个增量数据复制单元分别独立地从源数据库读取增量数据，并写入对应的消息中间件，其中，N为大于或等于2的整数；

利用每个数据加工和应用单元从所述N个消息中间件其中之一读取消息，并写入到与每个数据加工单元对应的目标数据库；其中，存在与M个数据加工和应用单元一一对应的M个目的数据库，M为大于或等于1的整数；

其中，所述利用每个数据加工和应用单元从所述N个消息中间件其中之一读取消息还包括：

每个数据加工和应用单元监听当前从中读取消息的第一消息中间件中的数据写入情况；

当监听到所述第一消息中间件中的数据写入情况出现异常时，所述数据加工和应用单元切换到从所述第一消息中间件以外的数据写入情况正常的第二消息中间件中读取消息。

2.根据权利要求1所述的方法，其中，

所述方法还包括：所述N个增量数据复制单元中每个增量数据复制单元每隔第一预定时间间隔向分布式存储单元写入复制心跳消息；

所述每个数据加工和应用单元监听当前从中读取消息的第一消息中间件中的数据写入情况包括：

当截止当前的第一预定时长内所述数据加工和应用单元从所述第一消息中间件中读取到的消息的数据量小于第一阈值时，检查与所述第一消息中间件对应的增量数据复制单元在所述分布式存储单元中写入的第一复制心跳消息；以及

当检查到第一复制心跳消息的写入频率异常时，确定所述第一消息中间件中的数据写入情况出现异常。

3.根据权利要求2所述的方法，其中，所述复制心跳消息包括每个增量数据复制单元在所述第一预定时间间隔内写入对应的消息中间件的复制数据量；所述每个数据加工和应用单元监听当前从中读取消息的第一消息中间件中的数据写入情况还包括：

当检查到所述第一复制心跳消息的写入频率无异常时，对比所述第一复制心跳消息中的复制数据量和第二复制心跳消息中的复制数据量的差异，得到复制数据量差异，其中，所述第二复制心跳消息为所述第二消息中间件对应的增量数据复制单元在所述分布式存储单元中写入的复制心跳消息；以及

当所述复制数据量差异超过第二阈值时，确定所述第一消息中间件中的数据写入情况出现异常。

4.根据权利要求1所述的方法，其中，

所述方法还包括：所述N个增量数据复制单元中每个增量数据复制单元每隔第二预定时间间隔向分布式存储单元写入复制动态信息，所述复制动态信息包括所述增量数据复制单元最新读取到的增量数据在所述源数据库中的记录标识；

所述当监听到所述第一消息中间件中的数据写入情况出现异常时，所述数据加工和应用单元切换到从所述第一消息中间件以外的数据写入情况正常的第二消息中间件中读取消息包括：

确定所述第一消息中间件的数据写入情况出现异常的异常时间范围；

从与所述第一消息中间件对应的增量数据复制单元在所述分布式存储单元中写入的复制动态信息中，查找写入时刻早于所述异常时间范围且距离所述异常时间范围最近的第一复制动态信息；

从与所述第二消息中间件对应的增量数据复制单元在所述分布式存储单元中写入的复制动态信息中，查找所述记录标识等于或早于但最接近于所述第一复制动态信息中的记录标识的第二复制动态信息；以及

从所述第二消息中间件中与所述第二复制动态信息中的记录标识对应的消息处开始，读取消息。

5.根据权利要求4所述的方法，其中，所述复制动态信息还包括在所述分布式存储单元中写入所述复制动态信息的第一时刻，则：

从与所述第一消息中间件对应的增量数据复制单元写入所述分布式存储单元中的复制动态信息中，查找所述第一时刻早于所述异常时间范围且距离所述异常时间范围最近的所述第一复制动态信息。

6.根据权利要求4所述的方法，其中，所述复制动态信息还包括所述增量数据复制单元将与所述记录标识对应的增量数据写入所述消息中间件后在所述消息中间件中的存放位置信息，则：

从所述第二消息中间件中，所述第二复制动态信息中的存放位置信息所指示的位置处开始，读取消息。