[发明专利]数据同步方法、装置、存储介质及电子设备

说明书

本申请公开了一种数据同步方法、装置、存储介质及电子设备，涉及计算机技术领域，该方法包括：监测数据库中目标业务所对应数据表中的更新数据；从预设消息队列中确定所述目标业务对应的消息队列；将所述更新数据分发至所述消息队列，以触发监测所述消费队列的数据消费服务，按照所述目标业务对应的数据消费模型将所述消费数据同步至搜索引擎。本申请提升数据库与搜索引擎中数据同步的一致性，且降低数据同步成本。

技术领域

本申请涉及计算机技术领域，具体涉及一种数据同步方法、装置、存储介质及电子设备。

背景技术

随着互联网技术的高速发展，对于数据的存储、查询已由单一的数据库操作逐渐发展到多样化，目前通常使用数据库充当数据容器，搜索引擎来实现快速查询的方案。

目前，数据库与搜索引擎的数据同步通常是控制数据的入口，在数据入库时，同时更新数据库和搜索引擎的内容，更新时两方对应的两套逻辑中任何一方失败都会导致数据的不一致，而且需要以数据库中数据为原始数据进行全量校验，需要付出大量的开发成本。

发明内容

本申请实施例提供一种方案，可以有效提升数据库与搜索引擎中数据同步的一致性，且降低数据同步成本。

为解决上述技术问题，本申请实施例提供以下技术方案：

根据本申请的一个实施例，一种数据同步方法，其包括：监测数据库中目标业务所对应数据表中的更新数据；从预设消息队列中确定所述目标业务对应的消息队列；将所述更新数据分发至所述消息队列，以触发监测所述消费队列的数据消费服务，按照所述目标业务对应的数据消费模型将所述消费数据同步至搜索引擎。

在本申请的一些实施例中，所述监测数据库中目标业务所对应数据表中的更新数据，包括：对所述数据库中所述目标业务所对应数据表进行更新日志捕获处理，以获得所述数据表的更新日志；对所述更新日志进行解析处理，得到所述数据表中的更新数据。

在本申请的一些实施例中，所述对所述更新日志进行解析处理，得到所述数据表中的更新数据，包括：确定所述目标搜索引擎所匹配的数据结构；对所述更新日志进行解析处理，得到所述数据表中的对应于所述数据结构的更新数据。

在本申请的一些实施例中，所述对所述数据库中所述目标业务所对应数据表进行更新日志捕获处理，包括：获取数据订阅表，所述数据订阅表中保存至少一个业务中每个业务的数据表订阅信息；根据所述每个业务的数据表订阅信息，确定所述目标业务对应的数据表；对所述数据库中所述目标业务所对应数据表进行更新日志捕获处理。

在本申请的一些实施例中，所述从预设消息队列中确定所述目标业务对应的消息队列，包括：获取目标队列查询表，所述目标队列查询表中保存有至少一个预设消息队列与业务的对应关系；根据所述对应关系从所述至少一个预设消息队列中确定所述目标业务对应的消息队列。

在本申请的一些实施例中，所述按照所述目标业务对应的数据消费模型将所述消费数据同步至搜索引擎，包括：确定所述目标业务所对应的数据消费实例，所述数据消费实例中配置所述数据消费模型；将所述更新数据发送至所述数据消费实例，以通过所述数据消费实例按照所述数据消费模型将所述更新数据同步至搜索引擎。

在本申请的一些实施例中，所述确定所述目标业务所对应的数据消费实例，包括：获取目标实例查询表，所述目标实例查询表中保存有至少一个预设数据消费实例与业务的对应关系；根据所述对应关系从所述至少一个预设数据消费实例中确定所述目标业务对应的数据消费实例。

根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。

根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。