[发明专利]数据同步方法、装置、设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括顺次连接的应用层、数据源、多路索引层、消息队列、索引集群和搜索引擎，所述多路索引层包括全量索引线路、增量索引新路和实时索引线路；所述数据同步方法包括：

监控存储于目标数据源中的业务数据的变更状态信息；

当所述业务数据发生变更时，根据所述变更状态信息生成数据同步消息，所述数据同步消息中包含发生变更的业务数据的唯一标识信息；

根据所述唯一标识信息，将所述数据同步消息写入消息队列中的目标消息分区，所述消息队列包括多个消息分区；

根据每个所述消息分区中的所述数据同步消息，执行数据同步任务；

索引集群包括多个消费节点，所述消费节点与所述消息分区一一对应，所述根据每个所述消息分区中的所述数据同步消息，执行数据同步任务，包括：

多个所述消费节点分别从对应的所述消息分区中读取所述数据同步消息；

根据所述数据同步消息，获取待同步数据并进行组装；

将完成组装后的所述待同步数据加载至搜索引擎；

其中，所述根据所述数据同步消息，获取待同步数据并进行组装，包括：

根据所述数据同步消息中的唯一标识信息，查询目标数据源，获取发生变更的完整业务数据，并对数据进行组装。

2.根据权利要求1所述的方法，其特征在于，所述监控存储于目标数据源中的业务数据的变更状态信息，包括：

每隔预设时间段获取所述目标数据源中所述业务数据的变更时间戳；

判断所述变更时间戳是否在前一个所述预设时间段内；

当所述变更时间戳在所述预设时间段内时，确定所述业务数据发生变更。

3.根据权利要求1所述的方法，其特征在于，所述监控存储于目标数据源中的业务数据的变更状态信息，包括：

监听所述目标数据源的日志信息，当监听到所述日志信息更新时，确定所述业务数据发生变更。

4.根据权利要求1所述的方法，其特征在于，所述根据所述唯一标识信息，将所述数据同步消息写入消息队列中的目标消息分区，包括：

根据所述唯一标识信息，以及所述消息队列中所述消息分区的总数，选定所述目标消息分区；

将所述数据同步消息写入所述目标消息分区。

5.一种数据同步装置，其特征在于，应用于数据同步系统，所述数据同步系统包括顺次连接的应用层、数据源、多路索引层、消息队列、索引集群和搜索引擎，所述多路索引层包括全量索引线路、增量索引新路和实时索引线路；所述数据同步装置包括：

监控模块，用于监控存储于目标数据源中的业务数据的变更状态信息；

生成模块，用于当所述业务数据发生变更时，根据所述变更状态信息生成数据同步消息，所述数据同步消息中包含发生变更的业务数据的唯一标识信息；

写入模块，用于根据所述唯一标识信息，将所述数据同步消息写入消息队列中的目标消息分区，所述消息队列包括多个消息分区；其中，索引集群包括多个消费节点，所述消费节点与所述消息分区一一对应；

同步模块，用于根据每个所述消息分区中的所述数据同步消息，执行数据同步任务；

所述同步模块还用于：

多个所述消费节点分别从对应的所述消息分区中读取所述数据同步消息；

根据所述数据同步消息，获取待同步数据并进行组装；

将完成组装后的所述待同步数据加载至搜索引擎；

其中，所述根据所述数据同步消息，获取待同步数据并进行组装，包括：

根据所述数据同步消息中的唯一标识信息，查询目标数据源，获取发生变更的完整业务数据，并对数据进行组装。

6.根据权利要求5所述的装置，其特征在于，所述监控模块用于：

每隔预设时间段获取所述目标数据源中所述业务数据的变更时间戳；

判断所述变更时间戳是否在前一个所述预设时间段内；

当所述变更时间戳在所述预设时间段内时，确定所述业务数据发生变更。